吴式芬故居故居位于旧无棣城南门里西侧，吴式芬纪念主展室设在吴式芬故居的仪仗厅，其东侧北墙镶嵌着三方刻石，中间一方是清代主盟诗坛的王士祯题给吴绍诗的，左右两方刻石分别为刘墉和郑板桥所题。仪仗厅门匾“尚书第”是清大学士于敏中题写，横匾“进士人家”是文华殿大学士张廷玉所书。廊柱楹联是吴式芬金石学盟友何绍基题赠的，厅内对联是清甲骨文专家王懿荣篆书。馆内陈列分橱展、壁展两部分。橱展陈列有海丰县吴氏家谱、吴式芬书稿、金石文手迹和吴式芬主要著述等。

吴式芬(1796—1856），海丰（今无棣县）县人。爱新觉罗·旻宁十五年（1835年）中进士，历任翰林院编修，江西南安府知府，广西壮族自治区、河南省按察使，直隶、贵州省、陕西省布政使，提督浙江省学政、内阁学士兼礼部侍郎等职，后增光禄大夫。吴式芬一生笃好金石文考古，从政之暇，即搜集金石器物，撰写了《古录》，《捃古录全文》两部金石学专著，与他人合著了《封泥考略》。吴式芬博才多艺，一生著书甚多，现原稿多数藏于国家图书馆和山东省图书馆。

清代吴氏家族，世称“进士世家”、“尚书门第”，素有“七侍郎、八巡抚、九封光禄、三翰林、五资政、十朝邦禁”之美誉。占地7000平方米，院内古木参天，气势古朴典雅。故居南院始建于建于朱祁镇正统年间，原为明代户部尚书王佑之宅弟，由吴氏十三世吏部尚书吴绍诗购置后重新扩建，现明代建筑犹存，至今已有500年历史。南院以“宝砚堂”为主体，“宝砚堂”因吴氏珍藏苏轼“雪堂宝砚”得名。北院“尚书第”建于清康熙甲辰年（1664年），门楣上悬“尚书第”横匾，室内迎门高悬“父子进士”金匾。据专家论证，此故居系明清时期官宦府第的典型代表，具有较高的考古价值和艺术价值。

橱展中还有吴重憙辑录的吴氏“小四库全书”之一的多卷本《无棣吴氏世德录》，以及吴氏的部分收藏品，吴式芬的手刻楹联、手砚和名章等。壁展部分有吴式芬画像、吴式芬列传、吴氏主要成员简介、科贡名录、官位总览、世袭图表等，还有部分历史文化名人诸如翁同书、陈介祺等写给吴式芬的诗文传记挽联等。吴式芬纪念馆馆藏丰富，共展出吴式芬命、列传、殿试卷、手稿、信札、石刻及其部分诗文作品等实物、史料近千件(篇)，随着吴式芬故居的修复，纪念馆的规模将扩展为五室三厅，并逐渐丰富馆藏。