汉代将
南安县隶属于
犍为郡。
南北朝时期，因战乱不断，乐山地区的建制屡有变迁。
北周置嘉州，取“郡土嘉美”之意。隋朝隋置眉山郡。原南安县改名龙游县，传说是隋朝军队从
成都市乘船向乐山进军、追击
南陈败兵时，
岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游。唐复嘉州，
眉山市。
宋朝改嘉州为
嘉定府；元代改为
嘉定路；明代改为
嘉定州；清雍正十二年（1734年）升嘉定州为嘉定府，并在府治置
乐山市县，取“城西南五里有‘至乐山’”为名，改龙游县为乐山县，“乐山”之名沿用至今。
中华民国废州府，治地设乐山行政督察专员公署。中华人民共和国设乐山专员公署。1978年乐山县与五通通桥区合并改为乐山市（县级），仍隶属于
乐山专区。