朱熹对此善举十分钦佩，为其作有《建昌南城县吴氏义仓记》，周必大还为之写了跋。又花巨资建起了规模较大的书楼，藏书数千册，以此会朋友、教子弟，庆元元年（1195），朱熹欣然为之题写了“书楼”二字。嘉定三年（1210），著名文学家陆游也慕名造访，还为书楼写有《吴氏义仓书楼诗文后》和《吴氏书楼记》称：“吴氏兄弟，为社仓以惠其乡，为书楼以善其家，皆其力所及。

朱熹对此善举十分钦佩，为其作有《建昌南城县吴氏义仓记》，周必大还为之写了跋。又花巨资建起了规模较大的书楼，藏书数千册，以此会朋友、教子弟，庆元元年（1195），朱熹欣然为之题写了“书楼”二字。书楼之下有读书堂，堂前有一小阁，阁之下有“和芋堂”，读书堂后还有“荣木轩”。庆元六年（1200），吴氏“义仓书楼”还为朱熹画了像，朱熹看了画像后自题小诗：“苍颜已是十年前，把镜回看一怅然。履薄临深凉无几，且将余日付残篇。”弟吴伦，字子常，和吴伸同志蓄书，建藏书楼。嘉定三年（1210），著名文学家陆游也慕名造访，还为书楼写有《吴氏义仓书楼诗文后》和《吴氏书楼记》称：“吴氏兄弟，为社仓以惠其乡，为书楼以善其家，皆其力所及。自是推而上之，力可以及一邑、一郡、一道，以至谋漠于朝者，皆如吴君自力而不愧，岂不贤哉！”著名学者陆九渊亦为之题有《吴氏书楼记》。