张玉，以六班散直隶狄青麾下，筑青涧、招安。遇夏兵三万，有驰铁骑挑战者，玉单持铁简出斗，取其首及马，军中因号曰张铁简。

以状闻。赵祯曰：“真勇将也。”以为本路同巡检。从征侬智高，抵归仁驿，贼列三锐陈以逆官军，军小却，玉率右厢突骑横贯贼垒，贼大溃。帝召见，使作锐陈于殿廷下，观破贼之势。为广西壮族自治区辖，徙大名，进龙、神四厢都指挥使，为副都总管。

谅攻大顺城，玉以兵三千夜击之，惊溃而去。累迁昭州防御使，徙泾原。熙宁中，庆州卒叛，玉袭逐于石门，卒穷蹙请降，玉斩二百人，坐夺职，降为陵州团练使，居数月，复之。王韶开熙河，玉迁宣州区观察使，为副都总管。河北省置三十七将，以玉为第一将。入为马步军都虞候，卒，赠建雄留后。