古代西湖的三面群山总称“武林山”《汉书》卷28上（地理志第8上）会稽郡 云“钱唐,西部都尉治。武林山，武林水所出，东入海，行八百三十里。””。秦汉时候钱唐县衙即在武林山脚。另有武林门内的小山叫做“小武林山”现已不存。

杭州西湖的三面群山总称“武林山”，这是“武林山”的广义，狭义的“武林山”则又指灵隐寺周围的山。《武林旧事》卷5：武林山，又名灵隐山。狭义的灵隐山有五峰——飞来峰、白猿峰、稽留峰、月桂峰、莲华峰。《武林旧事》还说，灵隐寺周围的山又名“仙居山”、“灵苑山”，——此二名现在已几乎无人说起。

。《钱唐记》曰：防海大塘在县东一里许，郡议曹华信家议立此塘，以防海水。始开募，有能致一斜土者，即与钱一千。旬月之间，来者云集，塘未成而不复取。于是载土石者皆弃而去，塘以之成，故改名杭州市焉。县南江侧有明圣湖。父老传言，湖有金牛，古见之，神化不测，湖取名焉。县有武林山，武林水所出也。阚駰云：山出钱水，东入海。

小武林山又名虎林山，明朝《西湖游览志》卷20云：“入门（武林门）而南，有虎林山，土阜陂陀，高可三丈，广不满百步。”南宋《咸淳临安志》说：“虎林山，在太一宫，高士堂後。有小土阜，上有亭曰武林，或云一名武林山。”南宋《淳佑临安志》说；“虎林山，旧经云：在钱塘县旧治之北半里。”南宋《乾道临安志》载：“太一宫，在新庄桥之南”。《梦粱录》也说“东太乙宫（即太一宫），在新庄桥南”。