四望山位于叠彩山西南部，与东南的于越山相对，以山间径道相隔，山体面积3.32公顷。

山石奇特，其满山石芽、石槽、石块如“玉叠蓬壶”，明代张鸣凤《桂胜》认为：“四望之下，乱石纵横，枕藉排突，半起半伏，坡陀隐，门径延曼，亦他山所稀有。”山名四望，四望美景而忘忧，意境顿生，故元晦《四望小山记》云：“山名四望，故亭为销忧，亭之前后，绵络山腹，皆梁危蹬。”山壁有唐朝元晦《四望山记》石刻及清代李少莲刻“玉叠蓬壶”四个大字。新刻著名作家茅盾、柳亚子等人士的墨迹。