贤山寺位于扶风县南15里的午井乡南官村，宝鸡峡渠道南侧的边沟洼里。清嘉庆县志载，建于北宋淳化五年（994年），从明杨博游贤山寺碑考察，磨毁寺内原北朝造像碑所刻一事证明，（碑上部造像尚存），其始建时代晚于北宋。

清嘉庆县志载，张载（横渠）隐此读书讲学，故名贤山。这里道路蹊径幽奇，峰峦迂回俊秀，眺望终南渭水，远山掩映，近水如带，每当夕阳西下，霞光映古刹，葱郁古树，殿宇亭台，筛映光辉，曲回迂折，暗洞通明。"贤山晚照"为扶风八景之一。明清以来，文人雅士常游贤山，题吟甚多。明杨博游贤山碑尚存。寺内元代砖塔、明清建筑、张夫子殿、大佛殿、山门、僧舍等古建筑于1958年被拆毁尽净。1984年以来佛教徒自行重修佛殿五间、僧舍灶房两幢。贤山古刹初步恢复。

庭竖丰碑，文意高古，中序：寺始于唐世至大元至正时，有僧名贤齐者，年二十游方至此，凿洞以居，历年九十，脚迹不至人间。二虎常为守洞，乡入德之，故名贤山。是山以僧彰名，非宋之横渠读书而名者明矣。