山南史称“雅”，是
西藏自治区古文明的发祥地之一。公元2世纪，出生于林芝波密一带的
聂赤赞普游历至雅砻地区时，被代表当地部落利益的12名雍仲本教徒推举为王，成为西藏历史上第一位赞普。6世纪左右，雅砻部落不断吞并强邻、扩张领地，成为西藏最强大部落。7世纪，
松赞干布统一西藏，建立
吐蕃政权，并逐渐将政治、经济、文化中心由山南琼结向
拉萨市转移。1912年，西藏地方政府在
泽当镇设有洛喀基巧堪布（即山南总管）。1952年8月，中共江孜分工委成立后，
山南市属江孜分工委管辖，但山南机巧及其宗政府仍属西藏地方政府管辖范围。1956年8月，山南从
江孜县管辖范围划出，成立山南基巧办事处。1959年12月，成立山南专员公署，隶属自治区筹备委员会领导。1969年3月，山南地区革命委员会成立。1978年10月，山南地区革命委员会改称山南地区行政公署，属自治区人民政府派出机构，驻地泽当，泽当成为山南政治、经济、文化中心。2016年1月，国务院批复同意撤销山南地区和
乃东区，设立地级
山南市，山南市设立乃东区，以原乃东县的行政区域为乃东区的行政区域。2016年5月27日，中共山南市委、市人大、市政府、市政协和市纪委举行揭牌仪式，标志着山南市正式成立。