林香寺始建于
爱新觉罗·颙琰己亥二十年，当时地方经济落后，条件较差建造简单。后来由于地方乡绅对宗教文化活动的重视，曾先后数次牵头募捐对此寺庙进行了改造修建。于
咸丰二年惊醒第一次重修；
光绪年间进行第二次重修；皇清
宣统辛亥年间巧月修缮；民国七年秋冬之间湖北军阀
王安澜率部途径该寺，
纵火焚烧致使殿宇淡然无存。民国三十一年龙门寺全真派道士张理云带徒弟王宗清来此历时数年恢复原貌。在文革期间寺庙一扫而空庙产改作林场。一九八一年安康落实宗教政策正式开放林香寺，张道长率徒重建寺庙。一九九九年三月在相关人士的协助下对寺庙经行全面修缮，二零零三年对齐堂再次进行修缮，至此林香寺已具规模，保留至今。
寺庙先后被命名为：灵雀寺──林香寺──三圣宫。大小房间共18间，分为正殿、客房、厢房、厨房等，正殿共六大间（前殿和后殿），殿内供奉儒、释、道三圣，由此得名。正殿门前现存曾被毁坏的石雕石刻及
方柱石数件，门前树木繁盛，草木飘香。林香寺到目前共有24代传人，前21代传人已不可查证，其中第二十二代传人
张理云，第二十三代传人王宗清、黄宗莲，第二十四代传人张诚礼。每年的农历三月初三该寺举办盛大的庙会，庙会期间香客云集热闹非凡。