一说
炎帝南巡时随驾将军之庙；一说
姬钊十八年巡狩南方，诸侯朝王于明堂，后立庙以祀；一说
赵构初封康王，为
金朝所逼，避居
衡山，因祀之以庙。民国15年（1926年），衡山农民革命运动蓬勃兴起，中共衡山地方执行委员会驻此，次年毛泽东考察
湖南农民运动，曾在此住宿并召开座谈会，1960年在此修建了衡山农民运动经念馆。1972年康王庙被列为
湖南省省级文物保护单位，现有毛泽东考察湖南农民运动住过的房间和生活
大宗商品、开会用过的桌椅；在展厅，还可以看到农民运动的有关原始资料、烈士遗物等固定展品。