相传在南梁，一位姓曹的禅师在龟峰结庐为寺，成为龟峰第一代开山大师，瑞相寺的真正来源可能就在此。

唐乾宁二年，僧茂蟾又辟“灵胜寺”。宋咸平年间，赵恒改寺名为“瑞相寺”，建炎年间赵构御批寺名。孝宗隆兴年间，宰相陈康伯奏请朝廷，改“瑞相寺”为“显亲崇福寺”。康伯卒，复名。南宋末年，慧光大师在寺后建开法化后塔。元至元五年瑞相寺毁于大火，修复后规模空前。明洪武十一年，县人舒贵卿捐资建香火院。明崇祯御赐“瑞相寺”为“龟峰寺”。明末，寺复罹火，仅存一殿。清顺治初年渐次修复。清乾隆僧灵秀重修，香火渐衰。瑞相寺是我国古代南方的一座名刹，至今遗址尚存。

梁时，一曹姓禅师在江西弋阳龟峰开山建寺。

唐乾宁二年（895），僧人茂蟾在废墟的遗址上重建寺庙，名“灵胜寺”，其址在今龟峰桂花园。

五代十国南唐吏部尚书徐铉在龟峰建别墅，使宗人居之。徐死后，其遗产捐给了寺庙。

宋咸平年间（998—1003），赵恒改寺名为“瑞相寺”。建炎年间（1127——1130年），赵构御批寺名。

赵昚隆兴元年（1163），宰相陈康伯【1097—1165，字长卿，弋阳县人，宋徽宗宣和三年（1121）进士，绍兴三十年（1160）官至右仆射同中书门下平章事、左仆射同中书门下平章事等职。身居宰相之职的陈康伯热爱祖国河山，关心民众疾苦。在朝廷他力主抗金，辅佐皇帝励精图治，曾率将士大败金兵于采石，政绩显赫。】年迈体衰告病还乡。返回故里后，寄情于家乡名胜山水，他常在家人亲友的陪伴下游览龟峰，每当兴致所至，便吟诗作赋。并且，几乎每次都要到瑞相寺拜佛燃香，驻足歇息。这一年，陈康伯请求朝廷，将“瑞相寺”更名为“显亲崇福寺”。隆兴二年因金兵继续南侵，陈康伯再度出山担当宰相重任。赵昚乾道元年（1165）陈康伯卒于京城。若干年后，显亲崇福寺乃复改为瑞相寺。

南宋末年，慧光大师在寺后建开法化后塔。后来，从正禅师主持“瑞相寺”。

元至元五年（1339年）瑞相寺毁于大火。后又经善男信女及慈善者捐资捐物，将寺庙修复，其规模超过了原寺庙。

明洪武十一年（1378年），县人舒贵卿捐资建香火院。明崇祯御赐“瑞相寺”为“龟峰寺”。明末，龟峰寺又毁于大火，仅存一殿。

清顺治初年（1654年），僧智能住持龟峰寺，渐次修复，后其弟子碧济继领院事。清乾隆，僧灵涯秀重修龟峰寺。此后龟峰寺香火逐渐衰落。

至民国年间，寺内有僧2人。解放前夕，仅有僧一人，法号新圆，1951年还俗。

位于四声谷左上方。有一处由多块巨石堆垒而成的石洞，巨石正面堆积，相互支持，危如累卵，却坚如磐石；石洞高深幽曲，怪谲异常，真是“洞中有洞，别有洞天”。洞高约丈余，其石壁无路可攀，有四个未署年代的篆体大字石刻：“摩尼洞天”。有专家认为，这是元代摩尼教的遗迹，殊为罕见。也有专家考证，“摩尼洞天”系达摩手书，“摩”为“达摩”之简称，“尼”为释迦牟尼之简称，“洞天”取“洞天福地，万物皆通”之意。由此推断，当时的“瑞相寺”，在中国寺庙之中的地位相当显赫。

今瑞相寺遗址尚存。瑞相寺是我国古代南方的一座名刹。“瑞相寺”现已被列为弋阳县旅游八大工程项目之一。相信不久以后，这座具有悠久历史与深厚文化的古刹将从新焕发昔日的风采。