霍山，是先西汉河东平阳(今临汾市西南)人。霍去病之孙，霍云弟。

在昭帝时期，霍山担任奉车都尉和侍中，统领胡越兵。霍光快死的时候，请求汉宣帝封他为列侯。霍光死后，霍山被封为乐平侯，以奉车都尉的身份主管尚书事务。修建宅邸，骄奢淫逸，超越了制度的规定。后来宣帝逐渐剥夺了他的权力，并贬压制他的亲族党羽。

霍光以自己的孙子霍山、霍云过继给霍去病为孙，霍山获封列侯，位高权重，府邸门庭若市。然而，他们生活奢靡，忘记了霍去病的勤俭，变得高傲自大，甚至轻视汉宣帝。最终，他们因言辞不敬被严惩，流放边疆。

刘弗陵时，霍光主政，霍云、霍禹为中郎将，霍山为奉车都尉、侍中。

地节二年（公元前68年），霍光去世，临死前请求从自己的封邑分出东武阳邑三千五百户，封霍山为列候，为霍去病奉祀。宣帝念霍光功德，封霍山为乐平侯，次年（公元前67年）四月封霍云为冠阳侯。霍禹袭霍光爵博陆侯。

后来宣帝架空霍家权力，霍禹、霍山、霍云都被其排挤，数次在一起哭，又得知霍光遗孀太夫人显毒杀了宣帝皇后许平君，既怨恨又害怕，就图谋作乱。霍云的舅舅李竟因交通诸侯王而获罪，霍山、霍云因此被下诏罢免宿卫之职回家。霍家人更加害怕。霍山图谋以上官太后名义召见丞相魏相、国丈平恩侯许广汉，让霍光的女婿范明友、邓广汉以太后名义将他们斩杀，废黜汉宣帝，立霍禹为帝。随即事泄，霍山、霍云、范明友自杀，霍禹腰斩。

史记《建元以来侯者年表》：

霍山，山者，大将军光兄子也。光未死时上书曰：“臣兄骠骑将军去病从军有功，病死，赐谥景桓侯，绝无后，臣光愿以所封东武阳邑三千五百户分与山。”天子许之，拜山为侯。后坐谋反，族灭，国除。