胡矩与
史浩、
李孟传等人一起创作了《红木犀花诗》。在
淳熙十四年(1187年),他担任象山县令,后离职。
绍熙五年(1194年),胡矩担任监庆元府。1197年,他担任监泉州市舶。1205年,胡矩知萍乡县。1208年,他知赣州。1211年,胡矩入朝为枢密司编修官,兼任检详诸房文字。1213年,他担任将作监,兼任
枢密院副都承旨。1215年,胡矩任太府卿、吏部侍郎、工部尚书等职。
胡矩与
薛极、聂子述等官员都是
史弥远的党羽,被称为“四木三凶”。1194年,他担任监庆元府。1197年,担任监
泉州市舶。1205年,知
萍乡市。1208年,知
赣州市。1211年,入朝为枢密司
编修官。1213年,担任将作监。1219年,胡矩与薛极等人执政用事,贿赂成风。
李道传上书批评,胡矩唆使言官弹劾
曾从龙,导致曾从龙被罢参政、提举洞霄宫、知
建宁府。
1225年,胡矩改任
兵部尚书。1226年,他被任命为通奉大夫。1229年,胡矩任显谟阁学士,知庆元府,兼任沿海制置使。同年二月二十二日,他以通奉大夫身份知庆元府。1227年,胡矩修《
宝庆四明志》。