胡砺少年嗜学，幼时曾为金兵所掠，行至燕地时，逃匿于香山寺，遇韩昉，请赋诗以见其志，胡砺操笔立成，思致清婉，韩昉喜甚，收于门下，自此学业日进。韩昉曾对人言：“胡砺才器一日千里，他日必将名世。”天会十年，举进士第一，胡砺中状元后，授右拾遗，权翰林修撰，后改任定州观察判官。在定州学校为河朔冠，经常有数以百计的士子们在他身边聚居，他每日督学不倦，经其指点的学生，均成为乡学骨干，“悉为场屋上游”。人称他的学生们呈文为“元化格”。
皇统初年（1141），胡砺任河北西路转运都匀判官，刚正不畏权势。行台平章政事高桢去汴京，路过真定府，地方官设宴款待，胡砺欲就座，遭高桢指责，胡砺道：“公在政府则礼绝百官，今日之会自有宾主礼。”高桢问：“汝他日为省吏当何如？”胡砺答道：“当官而行，亦何所避！”高桢遂向其道歉。胡砺改任深州同知军州事时，加朝奉大夫。对于郡守暴戾，蔑视僚属，胡砺常以礼折之，郡守愧服，此后郡中事务都委托于胡砺。深州所辖五县，按例设置弓手百余名，最少也要六七十名，每年雇用花费五千万钱，均取自百姓。而弓手皆为市井无赖，以缉盗为名，到处扰民。胡砺察其弊端，一律罢去。继而有飞语说：“某日贼发，将杀通守。”有人请他多加防备，胡砺说：“盗所利者财耳，吾贫如此，何备为。”这一夜，公署撤阙，竟无事。
胡砺再补翰林修撰，迁礼部郎中时，朝廷典礼多由其裁定。胡砺性格刚直。海陵王升胡砺职，官拜平章政事，百官曾贺于朝堂，独胡砺不跪。海陵王问其缘故，胡砺以法令回答不拜之理，说道：“朝服而跪，见君父礼也。”海陵王由此对其深为器重。天德初年（1149），迁侍讲学士，-国史。因母亲去世辞官。起复出任宋朝岁元副使，刑部侍郎白彦恭为正使，海陵王对胡砺说：“彦恭官在卿下，以其旧劳，故使卿副之。”迁翰林学士，改任刑部尚书。随海陵王到汴京后染病，海陵王多次遣使慰问，终病逝于任上。享年55岁。