飞山庙，又名威远候庙，为供奉少数民族首领杨再思的寺庙。庙址原在飞山绝顶，宋淳熙甲辰年（1185）靖州苗族侗族自治县知州孙显祖移至州城西门外一里多的原作兴书院左侧，明正统十年（1445）知州苏文重修。

重修后的飞山庙东西长72.5米，南北宽24.5米，占地面积1775.25平方米。庙分三进：第一进是戏楼、天井。戏楼雕梁画栋（已毁），天井中央植柏树两株。第二进为过厅、正殿。过厅由19根木柱支撑屋顶，两边供有魏了翁（宋工部侍郎）及党哲（明靖州知州）塑像。正殿占地面积218.5平方米，由10根金色柱子支撑中心屋顶，四周排列18根檐柱，柱枋之间偶合紧密。过厅、正殿均为传统单层单檐木结构建筑，硬山式屋顶。第三进为娘娘殿，相传是供奉杨再思父母的神殿。现已改建成学校教室。明正德三年（1508）参将黄焘在飞山庙前约百米处建石坊一座，上嵌"惠此南国"及"威镇渠阳"的石刻巨匾，现已毁。