张蕴古曾担任
王世充的
侍御史，期间弹劾了丘怀义等人在饮酒赌博中的不当行为，被王世充赏赐一百段帛，并迁官为太子
舍人。武德初年，张蕴古自幽州总管府记室调入中书省。
李世民即位初期，他上奏《大宝箴》，提出治国之道，太宗对他的奏章给予了赞赏，并赐予束帛，任命他为大理丞。
贞观五年（631年），张蕴古审理
河内人李好德散布妖言狂语案，张蕴古以李好德有癫病不予追究，遭到
治书侍御史权万纪弹劾，被唐太宗下令斩于东市。
张蕴古是隋末唐初人，老家相州洹水（今河南安阳一带），幼时就聪慧异常，博览群书，还写得一手好文章。他记忆力超群，看过的碑文能过目不忘，棋局被打乱后能一子不差的复盘，“背碑覆局”这个成语即由此而来。张蕴古书读得好，却不是书呆子，对朝廷政治得失有很深刻的见解，“尤晓时务”。
据《
资治通鉴》记载，张蕴古曾在
隋朝末年担任
王世充的
侍御史，王世充的将军丘怀义在门下内省，召集
李泰王君度、汉王王玄怨、将军
郭士衡与女妓侍妾在一起饮酒赌博，侍御史张蕴古弹劾他们。王世充非常生气，命令散手仗卫士捉住王君度、王玄怨，打了他们几十个耳光，又下令带入东上阁，各打几十大板，丘怀义、郭士衡不问罪，赏给张蕴古一百段帛，迁官太子
舍人。
入仕
唐朝后，张蕴古先是跟着
庐江王李瑗到
幽州（今北京）历练，任亲王府
从六品上的
记室参军，负责处理机要文书。因表现出色，
贞观二年（628年）调到中书省当差。
唐朝前期，中书省负责起草皇帝诏令，对张蕴古来说，这是一片新的天地，可以大有作为。张蕴古牢牢抓住了这个机会，在中书省期间，他上了一道名为《大宝箴》的
奏疏，劝诫
李世民要“以一人治天下，不以天下奉一人”，爱惜民力，不要贪图享乐；开门纳谏，虚心听取大臣意见，不要自以为是、拒谏饰非；要豁达大度，“安彼反侧”，坚持五湖四海的用人方针，安抚好曾经的对立面。这个折子不但文辞好，道理更是讲得透，对于刚经过
玄武门之变兄弟阋墙亟需稳定朝局收揽人心的唐太宗来说，不啻一服良药。唐太宗看过奏疏，龙心大悦，立马赏赐张蕴古两匹绸缎以示鼓励，并将其提拔为大理丞，级别虽然没变，仍为
从六品上，但大理丞分管涉及尚书省
六部官员和徒刑以上案件的审理，担负的责任重了很多，显然属于重用。
贞观五年（631年）八月，
河内人李好德“得心疾，妄为妖言”，得了精神病，整天胡言乱语，言语之间对朝廷和皇帝有不敬之词。在古代皇权社会，这是极其严重的罪行，要被判处死刑，李好德的案子经过层层上报，最终到了
李世民那里。唐太宗下令大理寺将李好德扔进监狱，严加审判，具体负责处理此案的，正是张蕴古。张蕴古经过调查，认为“好德癫病有征，法不当坐”，按照法律规定，精神病人说犯忌讳的话，可以减免处罚。唐太宗听完张蕴古的案情汇报，“
许将宽宥”，决定不再追究李好德。此事本已平息，但张蕴古却干了一件十分匪夷所思的事情。据《
贞观政要》卷八《刑法第三十一》记载，张蕴古竟然跑到监狱里，将唐太宗的决定提前告诉了李好德，还公然在狱中陪李好德下棋解闷。负责监察朝廷百官的御史台副长官持书
侍御史权万纪发现了此事，立马弹劾
张蕴古：李好德的哥哥李厚德是
相州刺史，而张蕴古老家就在相州，张蕴古包庇李好德是精神病，是为了讨好家乡父母官，属于官官相护，徇私枉法。
李世民认为自己被张蕴古耍了，盛怒之下，将张蕴古拉到长安街市上斩首示众。
张蕴古的血迹还未干，唐太宗的心情立即沉重起来，“既而悔之”。张蕴古泄露朝廷机密确实有罪，但罪不至死，根据唐律最多判处一年半徒刑，唐太宗说人家执法犯法，难道自己就按律治罪杀人了？唐太宗在事后也感到非常后悔，认为自己的决定过于武断和草率，于是下诏规定，今后凡判处死刑，即使是立即执行的，仍要三复奏。后来，唐太宗进一步对群臣说：“从今以后，在判处死刑案件时，要在两日内进行五复奏，地方案件也要三复奏。所谓五复奏，就是在判决前两日和前一日内两复奏，行刑之日再三复奏，此外，在进行复审的时候，对于虽然依法应当处死，但是情有可原者，应当录状上奏。”