张虔威（表字元敬，《北史》名作干威），清河郡东武城县（今故城县）人，北齐北徐州刺史张晏之之子。他博览群书，伯父张暠之评价他为“家中千里驹”。十二岁时，担任北徐州主簿，十八岁时担任太尉中兵参军，后累进太常丞。北齐灭亡后，出仕北周，担任宣纳中士。

杨坚掌握北周政权时，召张虔威为相府典签。隋朝建立后，随晋王隋炀帝到太原市赴任，担任刑狱参军。杨广欣赏张虔威的才能，与河内张衡都被礼遇，人称晋王府“二张”。杨广为太子时，张虔威转任员外散骑侍郎、太子内舍人。

杨广即位后，张虔威担任内史舍人、仪同三司，加位开府仪同三司，任者大夫。跟随皇帝巡幸扬州市，以本官摄江都赞治，以干理著称。隋炀帝经常巡幸，百姓疲弊，张虔威上奏劝谏。炀帝不喜，张虔威逐渐被疏远。张虔威在官任上去世。

其子张爽，官至兰陵县令。张虔威弟张虔雄，秦王杨俊担任天水市总管时，选为属下法曹参军。后历任寿春、阳城县令。

十八为太尉中兵参军，后累迁太常丞。及齐亡，仕周为宣纳中士。高祖得政，引为相府典签。开皇初，晋王广出镇太原市，盛选僚佐，以虔威为刑狱参军，累迁为属。王甚美其才，与河内张衡俱见礼重，晋邸称为“二张”焉。及王为太子，迁员外散骑侍郎、太子内舍人。隋炀帝即位，授内史舍人、仪同三司。寻以藩邸之旧，加开府。寻拜谒者大夫，从幸扬州市，以本官摄江都赞治，称为干理。虔威尝在途见一遗囊，恐其主求失，因令左右负之而行。后数日，物主来认，悉以付之。淮南太守杨綝尝与十馀人同来谒见，帝问虔威曰：“其首立者为谁？”虔威下殿就视而答曰：“淮南知府杨綝。”帝谓虔威曰：“卿为谒者大夫，而乃不识参见人，何也？”虔威对曰：“臣非不识杨綝，但虑不审，所以不敢轻对。石建数马足，盖慎之至也。”帝甚嘉之。其廉慎皆此类也。于时帝数巡幸，百姓疲敝，虔威因上封事以谏。帝不悦，自此见疏。未几，卒官。有子爽，仕至兰陵令。

虔威弟虔雄，亦有才器。秦孝王俊为天水市总管，选为法曹参军。王尝亲案囚徒，虔雄误不持状，口对百馀人，皆尽事情，同辈莫不叹服。后历寿春、阳城二县令，俱有治绩。