潘江父潘金芝，早卒。母吴氏，贤
六祖慧能文，著有《松声阁集》。潘江幼承母教，博览群书，尤专于诗、古文。后游历齐、岱、京、楚等地，与海内名流以诗文相交。明亡后，潜归
桐城市，隐居县城西
龙眠山之河墅，吟诗著文，娱情山水。
康熙帝十八年(1679)荐举博学鸿词，以母亲年老辞去。其后清廷两次征用隐逸名士，潘江有名在册，皆托故不就。仍然长期隐居乡里，奖掖后学，培育人才。见人有一韵之工，便赞不绝口，对同乡
戴名世尤为器重。其时戴家贫穷，无钱买书，潘江拿出家中所有珍藏书籍，供戴名世博览，并细心引导。戴名世对潘江学识情操殊为钦佩，尊为导师。
潘江热衷于乡土文献的发掘和整理，采录明清两代五百余名乡贤先辈的诗作，辑成《龙眠风雅》正续集计92卷。与
同里镇何存斋共同采录明代至
清代桐城古文家主要著作，辑成《龙眠古文》24卷，编写《桐城乡贤录》1卷。另著有《木崖诗文集》、《六经蠡测》、《字学析疑》、《诗韵尤雅》、《
记事珠》、《古年谱》等共40余种。其著作多数对明亡寄予伤痛，被清廷列为禁书，屡遭查毁，存世极少。民国时，潘江后裔潘田，搜集其佚作，辑成《木崖集二卷附笺二卷》、《木崖考异集二卷附卷末一卷》、《木崖文钞》和《木崖遗文》各1卷，付印未半，因
中国抗日战争爆发停印。