传说山上长着一种藤，叫酒香藤。这种藤开黄花，开花的时候散发出一股酒香味。用这种藤加柳毅井的水酿的酒，吃了长生不老。
刘彻登基以后，只想长生不老，永坐天下。他请了好多术士为他炼长生丹，还专门派了一个叫
栾巴的大臣到处替他访求仙酒。栾巴坐着船过了
洞庭湖，来到君山上，听说这座山的青藤可以酿长生不老的仙酒，高兴得不得了。马上沐浴戒斋，拜了一仙
白鹤道人为他酿酒。不久，仙酒酿成了栾巴兴冲冲地带回京去复旨。汉武帝身边有个有名的谋臣，叫
东方朔。他听说栾巴从君山请来了仙酒，心里好奇，不晓得仙酒是什么样子。于是他乘左右无人，偷偷地打开坛盖去看。坛子一开，一股清香味直冲鼻子，逗得东方朔口里涎水流，心里象猫抓，忍不住拿了个杯子，舀了一点尝一尝。这一尝不打紧，越吃越想吃，等栾马来取酒的时候，一坛仙酒早已经被东方朔吃了个精光。这一下，
刘彻可发了大脾气，马上要人把东方朔推出去杀头。
东方朔不慌不忙地对皇帝说：“陛下，如果这酒真的是长生不老的仙酒，那么我早已成仙了，你怎么杀得死我呢？要是你能把我杀死，那么这酒就不是仙酒，把我杀了又有什么意思呢？”汉武帝低下头去想了一想，觉得他的话也有道理，就把东方朔放了。后来，人们在
栾巴求仙酒的地方，修了个亭子，叫酒香亭。这座小山呢，也就被人叫作酒香山了。
以上传说事见晋庾仲雍《
湘州记》：“君山上有美酒，饮者不死，
刘彻使栾巴求得之，未进御，
东方朔窃饮，帝怒，欲杀之，对曰，使酒有验，杀臣亦不死，无验，安用酒为，帝笑而释之，相传每春时往往闻酒香，寻之莫见其处。”晋张华《
博物志》、宋
罗大经《
鹤林玉露》也有记载。