紫阁山原名紫盖山，古时为终南名山之首。早在北周时期，就有法藏在此修行。到了唐代，
道宣、楚金、飞锡、慧昭等许多高僧均曾在紫阁峪内的寺庙中修行。这些高僧大德的到来，使得紫阁峪成为佛教的重要修行地，也吸引了众多信徒前来朝拜，为紫阁峪的宗教设施建设奠定了基础。
从汉代开始就有名人
张良在紫阁峪活动，留下了许多传说和遗迹。明代时，有
王九思、
康海、王九皋、王九峰、熊子修、韩期维、薛昌朝等人拜访紫阁峪；在
清代，有
王心敬、长松居士、兰谷等，其中明代的王九思，清代的傅龙标为紫阁山及紫阁院留下许多的诗作。
紫阁峪内的最高峰，海拔达2150米。山峰面北和西侧为500多米的
断层绝壁，每当晴朗之日，阳光灿烂，紫气腾升，峰面如紫色阁楼，因此得名。
敬德塔位于紫阁峰的峭壁上，是一座七层
佛塔，又名紫阁塔。据考证，
唐末农民起义，
长安兴教寺被毁，寺僧携唐玄奘遗骸逃至
宝林寺建五重塔供藏。宋时五重塔毁，
赵光义端拱元年（988年），金陵天禧寺演化大师朝临紫阁寺，发现
唐僧遗骸并迎至金陵天禧寺供奉。天佑七年（910年），重修紫阁寺塔，建七重塔，为使葬骨塔不再被破坏，因而塔不留名。
张良洞位于紫阁峰的峭壁上，里面有天然石炕、石灶、石桌，石桌上有天然棋盘（中国象棋），相传是汉代名人张良隐居的地方。
谷底潭位于大园寺上半公里处，流水拢成一束
急流从三十米的断崖跌落而下，飞流湍急，银珠卷帘，恰似银河倒泻，游龙下山，这就是无底潭瀑布（也叫井潭约20米深）。瀑布飞下形成两个潭，上有无底潭，下有谷底潭也叫筛子潭，谷底潭不仅风景秀丽，更是天然的游泳池。