清凉寺位于孝义市西辛庄镇下马宽村，距市中心约35公里。该寺庙始建于北宋时期，历经元、明、清三代多次扩建和修缮。2004年8月，清凉寺被孝义市人民政府列为市级文物保护单位，随后于2006年7月再次获得吕梁市人民政府的认可。

清凉寺占地面积达1万平方米，建筑面积约为3344平方米。寺庙建筑群布局规整，以中轴线为中心，两侧对称分布。主要建筑包括山门、正殿、偏殿、送子观音殿、大雄宝殿、钟鼓楼、地藏王殿、十八罗汉殿、七佛殿、五王殿以及禅堂院和藏经楼等。整个建筑群分为五进庭院，共计拥有108间殿堂房舍。所有殿堂均采用砖券拱顶结构，无需使用梁柱支撑。

山门面阔五间，长30米，进深10.7米，上方设有乐楼。正殿院深29.3米，北侧为正殿，面阔五间，宽22.6米，重檐进深8.6米，内部供奉五尊佛像。正殿前有佛阁，内奉弥勒佛塑像，装饰华丽。正殿下方设有一处地洞入口，两侧各有一个行龙壁龛。正殿前方的东西偏殿各7间，宽3.5米，通高4.2米，进深7.9米。

送子观音殿位于第二进庭院，面阔三间，宽15.3米，通高4.7米，拱高3.6米，进深8米。其东西两侧各有偏殿三间，地洞连接至四大天王殿。

第三进庭院为大雄宝殿院，北侧的大雄宝殿面阔三间，宽12.1米，通高4.7米，进深7.6米。西侧的地藏王殿和东侧的十八罗汉殿规格相同。大雄宝殿院东侧为十八罗汉殿和五王殿，西侧为七佛殿和送子观音殿。南侧为登板楼，即乐楼，东侧为钟楼，西侧为鼓楼。登板楼下部为四大天王殿。

第四进庭院为禅堂院，包含三个独立的院子，分别为8间、9间、11间，通过门洞相互连通。

第五进庭院为藏经殿，分上下两层。下层面阔五间，宽21.3米，进深6米，拱高3.4米。上层面阔三间，宽12米，立柱六根，斗拱出檐，进深9.5米，通高4.6米，拱高3.4米。

清凉寺曾在历史上收藏了超过三十块石碑，但由于历史原因，这些石碑大多遭到破坏，目前仅存一对完整的石碑底座，石龟尺寸为长1.5米，宽0.87米，高0.45米，制作精细，造型逼真，被视为石刻艺术的珍品。