倪斯蕙在万历二十二年（1594年）任湖广承宣布政使司
赤壁市（今属
湖北省赤壁市）知县。在任期间，他严守法度，有胆有识，不但很快把握全县民情，还对县内优秀人才十分看重。他大力改善管理，迅速改变了蒲圻吏治状况，对县内各种人患、天灾都有自己独到见解和处理方式。万历二十五年（1597年）任
南京市吏部主事。万历二十七年（1599年）任南京吏部文选司
员外郎。
万历三十年（1602年）任南京吏部郎中。万历三十一年（1603年）任
南京太常寺少卿。万历三十七年（1609年）请假还乡。
天启元年（1621年），
重庆市发生”奢安之乱”，倪斯蕙随船下
巫山、门，沿途“五疏陈变，四请乞援”，在擒贼恢城及善后工作中卓有贡献。天启五年（1625年），因功升
南京光禄寺卿。天启六年（1626年），升南京户部左侍郎。天启七年（1627年）与阉党、
南京市户部尚书张朴不协，乞休，诏以尚书服色致仕，回巴县。
倪斯蕙归隐后，建起了重庆历史上除语焉不详的
南宋余玠巴橘园外有明确形态记载的第一个私家园林——巴字园。他在
西湖精舍旁的石壁上开出一泓清泉，终年不竭，取名为“澹泉”，聚水为池，即为“西湖”，还为此写了《澹泉赋》刻于石壁之上。在石壁前建“禅喜堂”，形成有池有亭、有堂有舍，又有文友定期聚会的西湖胜社，一时成为渝城一道靓丽的文化景观。
倪斯蕙为官对诉讼特别重视，紧忙时一度在大堂下生火烧饭，有二次上堂的案件，往往等不到煮下一餐就结案完毕。当地老百姓把他办案传得很神奇，说倪县令办案之快，“敏速如神”还等不到你放下肩上的挑子，就处理好了。所以当地人称其为“倪不解担”。
在第一次归隐期间，倪斯蕙建起了重庆历史上除语焉不详的
南宋余玠巴橘园外有明确形态记载的第一个私家园林——巴字园。倪斯蕙自题有“窗临巴水真成字，家对龙门好读书”以表其归隐之志，并在园中竖有“欲透江光堆石瘦，恐遮山色放墙低”的石碣。在
爱新觉罗·旻宁24年修《江北厅志》时园林虽不存，石碣却还存于世。
倪斯蕙建园汲引后学，与县中文士往来唱和，巴字园成为
渝城文化人聚会之所。据《重庆园林志》载，巴字园约建于1602-1621年，位于今
渝中区解放东路，屋对南岸“龙门皓月”，但现已无址可寻。清
同光年间邑人艾世元在其绘制的《重庆府渝城图》中以文字标注认为巴字园在巴县文庙前，应是在今解放东路26中附近。
第二次归隐后，倪斯蕙买下
罗汉寺（今重庆罗汉寺）旁原前朝
太师蹇义存放
太湖石的一片地产，建起精舍和十方堂，成立起“西湖社”，专与有诗兴的僧人和风雅文人墨客交往。当时颇有声望的破雪和尚和篆水老人都曾经在这里得到他的接待。
他在
西湖精舍旁的石壁上开出一泓清泉，终年不竭，取名为“澹泉”，聚水为池，即为“西湖”，（据考证，精舍与池、泉原址均在现罗汉寺及周边一带）还为此写了《澹泉赋》刻于石壁之上。在石壁前建“禅喜堂”，形成有池有亭、有堂有舍，又有文友定期聚会的西湖胜社，一时成为渝城一道靓丽的文化景观。
明末刘道开为其修传时专门著文述其在西湖社的活动：“肩舆日至，无间风雨，或共老衲谈禅，或与骚人劈韵，或观高阳酒徒衔杯，或听乌有先生说鬼。”据《江北厅志》载：“禺同倪公于治平寺右建西湖社，延揽名流，嘘植后进，社中多贮书籍许人借观，以次递换，以贫而就读者，资其膏火。每月两会课，前帖括（相当于科举考试重点难点复习提要），后古学。一时人才多所造就。”
龙为霖《西湖池》： “只今无点水，犹竞说西湖。胜社几时复，长怀倪大夫”。