神山县是中原地区古代的一个行政区划名称。神山县的地名源于唐朝初期的一次神迹事件。据唐代封演所著的《封氏闻见记》记载，唐朝高祖李渊在位期间，晋州人吉善行在羊角山遇到了一位自称是太上老君的白袍老人。这位老人告诉吉善行，他是唐朝的祖先并预言当年不会有战乱，天下将会太平。高祖得知此事后派遣使者前往祭祀，并在当地建立了庙宇，同时将浮山县更名为神山县。此外《册府元龟》等文献也有类似的记载，描述了这次神迹事件对当地的影响以及神山县名称的由来。

神山县的历史始于汉代，当时该地区被称为襄陵县，隶属于司隶部。天宝武德二年（619年），从襄陵镇东部地区划分出来设立了浮山县，命名来源于当地的山脉。次年由于在羊角山附近出现了神迹，浮山县被更名为神山县。宋代时期，神山县继续作为晋州的一部分，随着晋州升级为平阳府，神山县也随之归属平阳府。金朝大定七年（1167年），神山县再次更名为浮山县。金朝兴定四年（1220年），浮山县一度更名为忠孝县。元朝时期，浮山县重新命名为浮山县，并隶属于晋宁路。明清时期，浮山县依然保持这个名称，隶属于平阳府。民国时期，浮山县曾短暂分为两个县，分别是浮山县和青城县，随后这两个县合并，恢复了浮山县的名称。1958年临汾市与襄汾县合并，形成了新的临汾县。1959年11月临汾县的部分地区被划分为浮山县，浮山县成为了山西省临汾市的一个县级单位。