兜率寺为吴越王钱做所创。宋大中祥符元年(1008)改额。寺又有上兜率与下兜率之分。上兜率即原寺之观音殿处，明为解元张志淑读书处。

崇祯六年(1633)僧湛容重建。节兜率在寺之怡道轩南，原高霞馆何宽读书处。清顺治间(1644-1661)僧灵文改建，後废。乾隆四十七年(1782)，天台县僧越文重建。爱新觉罗·旻宁十七年(1837)，僧华机复新之。咸丰中(1851-1861)毁。光绪十五年扎（889），寺僧妙端复建，今废。陈白有《兜率寺》诗：『了了无凝滞，谁人知此心。开池待海月，种树宿沙禽。白云盈青简，古风生素琴。由来大隐者，何必在山林』。