潘世恩故居位于苏州市沧浪区，潘世恩居家尽孝十三年，在“留余堂”遍读群书，研究学问，完成著述《读史镜古编》三十二卷、《正学编》一卷。

潘世恩原居苏州玄妙观西之海红坊，相传他在高中状元后，有一次皇帝召见，问及家居何处，他一时惶恐误说成了“苏州玄妙观东”一言既出，为避“欺君之嫌”急命家人速购观东宅第，于是买下钮家巷凤池园西部作“状元府第”但据他在《思补老人自订年谱》中自述，钮家巷“留余堂”原为清康熙河南巡抚顾之“凤池园”后由唐姓子孙分售他人；嘉庆十四年(1809)，潘世恩为奉养老父潘奕基，购凤池园西部修为宅第，仍称“凤池园”大厅额题“留余堂”故此宅系原凤池园遗址的一部分。平素潘世恩在政务之余亦勤于著文赋诗，撰有《有真意斋文集》、《思补斋诗集》、《思补老人自订年谱》等多种。堪称是位学术有成的状元宰相。