乌聊山位于古徽州城中部，斜贯全城，依山势分为长青山和斗山两段，将古徽州城劈为两片，西片为古徽州府城，东片为歙县县城。唐朝以前称之为“乌聊山”。

乌聊山之名，首见陈寿《三国志·吴书·贺齐传》：“十三年，迁威武中郎将，讨丹阳、歙。时武强县、叶乡、东阳市、丰浦四乡先降，齐表言以叶乡为始新县。而歙贼帅金奇万户屯安勤山，毛甘万户屯乌聊山……” 。

《歙县志·舆地志·山川》中说“乌聊山，一名富山”。

《歙县志》又引《元和郡县志》云，乌聊山“上有毛甘故城，隋末汪华起兵，亦屯此。义宁中自休宁万安山迁治于此。其山磅礴，治城雄挟，上有数石，圆白特异，号落星石。唐刺史薛迁汪公庙于上，俗呼为庙山。前为东岳庙，下有仙姑井，宋郑仙姑居此。”

也有学者认为乌聊山之名由来失考：

乌是远古传说的瑞鸟。石器时代的玉器青乌、马王堆汉墓出土的帛画青乌白兔、太阳崇拜用乌轮为标志等，说明了传统文化中汉族的图腾崇拜是乌。另有传说，吴越柬阳（浙江省古县名）秦时颜乌，事亲至孝，父亲死后，负土筑坟，一群乌鸦衔鼓助阵，结果乌鸟喙吻受伤，始皇25年（前222年）敕建“义乌市”县。成语慈乌反哺，古人以为孝鸟。孔子说：“乌、亏呼也。”感叹语气“乌呼”就来源于此。

“聊”可作为语气助词，相似的组合有“椒聊”。《诗·唐风·椒聊》：“椒聊之实，蕃衍盈升。”朱熹《诗经集传》批注说：“聊，语助也。”

因此，乌聊山的命名有两种可能，一是山林原有青乌栖息之地；二是山上有孝子墓。以山命名为乌聊，具有儒家教义的人文传统。

《十日宋省斋有谓不及同登南山独步乌聊山》

宋 杨公远

我辈登高嶮更遥，闻君独步上乌聊。

休嗟昨日浑无兴，须信明年尚有条。

节后黄花香未减，年高黑鬓雪偏饶。

拂笺续罢新诗句，回首重阳节越一朝。