胡生前曾为其阵亡将士在郑州西郊建冢而葬，后来又在西太康路觅地建祠，选中了
老坟岗这片宝地。当时的
聂氏宗祠规模很小，即现胡公祠大殿西边位置，老郑州人亦称之为胡公祠。当年的小院已经在1981年被全部拆除。胡去世后，祠并未扩建，8年后至民国一年（1932年），
冯玉祥、
张群、
张继等为纪念胡在
河南省及
郑州市的战斗业绩，力主建祠。1936年秋，历时4年建造的胡公祠终于完工，占地23亩，有殿、亭，并有一
塑像，
翠柏红垣，古色古香，为郑州当时一景。郑州解放后，胡公祠曾作为
人民公园纪念品商店使用。由于年久失修早已成了座危险建筑物濒临倒塌，四周木雕龙头、雕花等物，由于房檐边破烂遭受风吹日晒和雨雪长期浸湿已出现霉烂。后被划为危险建筑封存。在媒体和民间多次呼吁后，2008年，郑州市拨款对胡公祠大殿进行修复，使
聂氏宗祠得以焕然一新。