胡曦一生诗作很多，《湛此心斋诗集》共12卷，《湛此心斋诗话》2卷。采用方言、谚语入诗，是他的诗作的一大特色。他冲破士大夫们守旧的偏见，大胆吸收
民俗音乐中的精髓，成为新派诗中的一员。他与
黄遵宪交谊甚厚，时有唱酬。胡曦写的《莺海花》一书，格调与山歌相仿，黄遵宪十分赞赏。
罗香林认为胡曦的诗“格刨调逸，最为公度所服”。黄遵宪在
英国任外交参赞时，曾有大规模收集客家民歌的打算，并认为“我晓岑最工此体，当奉为总裁”。
胡曦编辑的《梅水汇灵集》，搜集整理了
梅州市历代诗人的优秀诗作，汇集了梅州地区
清代以前的文化精粹。他早年创作的《燕京感事》、《珠江杂诗》、《悲广州》、《吊关天培》和《虎门》等作品，表达了诗人强烈的爱憎和慷慨激昂的感情。
香港中文大学吴天任教授，推崇胡曦是
黄遵宪新派诗的“同道先进”；
江苏大学钱仲联教授誉之为“乃公度新派诗之先河”，他那“淋漓大笔，颇近
丘逢甲的《岭云海日楼诗》”。黄遵宪、丘逢甲和胡曦被誉为晚清嘉应三大诗人。
胡曦除有大量诗作外，还热爱乡土文献。他一生为后人留下大量宝贵的文化财富，计有《柑榆碎事》4卷、《甘露事类》3卷、《乡哲良规》2卷、《宋乡贤罗学士遗事考略》3卷、《王性之公遗事考略》3卷、《梅水汇灵集》8卷、《兴宁山志》2卷、《新订龙川霍山志》10卷。特别是他的《兴宁图志考》，“别裁伪体，纠正前讹，其为信史可断言也。”（罗斧月语）胡曦能有如此成就，在于他掌握了丰富的第一手材料，阅历甚广，且能不辞劳苦到现场考证。一次，胡曦往省城应试，一名士向他询问
兴宁市先贤
王天与事迹及其后裔情况，胡曦不甚了了，无以为答。该名士遂有鄙夷之色，胡曦亦然而退。是科胡曦亦未中选。返里后乃发奋根据各方史册之记载，并亲赴
宁都县（王天与曾在此任县令）采集王天与事略并加考证，编辑成册，名为《明乡贤王御史遗事考略》，不久刊行于世。此亦是胡曦崇仰乡贤之举。
胡曦还是一位考据学家，编、整理了大量的乡土文献，计有《扮榆碎事》4卷、《甘露事类》3卷、《乡哲良规》2卷、《宋乡贤罗学士遗事考略》3卷、《兴宁图志考》12卷（今仅存卷一、卷二）等。《兴宁图志考》纠正了阮元《
广东通志》的错误，是他一生中的重要贡献之一。胡曦工书法，后人把他同
宋湘、伊秉缓一起曦列为
清代客家3位书法名家。
胡曦还“兼工书法，超拔凡近，得晋人
王献之气韵”（罗斧月语）。
罗香林教授誉他为“清代客家书翰之大殿”。他的遗墨，为后人所珍藏。