张杰尧幼年读私塾，1903年十岁时进入一个河北梆子戏班学戏。因不堪折磨，两年后逃跑。其后，他捡煤核，拉小袢、打执事，干杂活，到处流浪。在河南焦作加入
京剧艺人田月樵组织的京剧、
梆子混合班，演唱武生和老生。1919年张杰尧跟着骆彩舞南下上海演出相声，全国巡演他持续了12年。1941年，张杰尧和鼓王
刘宝全一同再去上海演出，1961年7月，张杰尧应北京市曲艺团和
侯宝林的邀请，从
西安市到北京表演，张杰尧担任逗哏。
张杰尧一生表演过429段
相声，有对口相声387段，三人相声15段，单口相声27段。其中许多段子是由他自己编写或改编的。如《
关公战秦琼》《罗成戏貂蝉》《张飞打严嵩》。《关公战秦琼》《
方言》等段子后经侯宝林演绎成为家喻户晓的经典名段。
张杰尧家道衰落后，父亲张武林流落江湖，成为戏法、评戏艺人。张杰尧生于
天津市，幼年读私塾，1903年十岁时进入一个河北梆子戏班学戏。因不堪折磨，两年后逃跑。其后，他捡煤核，拉小袢、打执事，干杂活，到处流浪。在河南焦作加入
京剧艺人田月樵组织的京剧、
梆子混合班，演唱武生和老生。后来到北京，他常到天桥市场听
曲艺，最爱听万人迷
李德钖的
相声。
十三岁始学说相声，拜
满族恩格拉图(原为清朝六品云骑尉，后
下海行艺)为师。1919年，他与骆彩祥、王子亮合作到
上海市、
苏州市表演相声。1921年冬第一次来
相国寺演出。常演节目有《哭瞎眼睛》《丢驴吃药》《日断三案》《近视看匾》《孔子骗食》《
山东斗法》等。经过几年历练，且与相声圈多位名家“联穴”，1920年，转到
南京夫子庙。1922年，在汉口，他开始与
绪得贵合作。不久，遇上
武汉市群众因反对北洋军阀而高呼打倒“北方侉子”一事，张杰尧只得返回
开封市，住在
相国寺前的“青云客栈”。1926年，张杰尧曾在开封组织“北方来汴艺人联谊会”。后在开封娶妻成家，收徒传艺。演说形式也由单口发展到对口。与他合作的先后有绪得贵、
刘宝瑞、师弟子康、刘月樵，及其徒弟单松亭、于宏声、田松山及女儿“小明星”等。他才于1931年回到北京。回京后，拜
高闻元为师，从此入了相声行。
1931年，张杰尧回到北京，编演了《
关公战秦琼》《罗成戏貂蝉》《张飞打严嵩》《文盲家信》《婚诗》《潘巧云告状》《耍猴儿》《学坠子》《冒名伶》《二十八宿》等许多新段子，在北京西单商场的杂耍场中，张杰尧、
高德明、
绪德贵、
汤金城、
戴少甫被人们称为“笑林五杰”。
1941年，张杰尧随
刘宝全赴上海演出，之后又到
保定市、
石家庄市、
郑州市、
开封市等地演出献艺。在开封，他住在
相国寺东侧的鸽市“中国旅社”。最初，他在大相国寺“藏经楼”和
陶湘九先生（杨宝璋先生的师父）一起演出。正巧，著名相声演员
刘宝瑞到了开封，两位大师开始合作。
1948年，张杰尧到郑州演出，1951年定居西安。1961年7月，他应北京曲艺团王世臣及侯宝林之邀赴京，由张杰尧“逗哏”，侯宝林、刘宝瑞“捧哏”，在中央广播说唱团录制了《关公战秦琼》《罗成戏貂蝉》《张飞打严嵩》《六个月》《河南戏》《战马超》《方言》《酒诗》等八段节目。其中《关公战秦琼》《方言》等段子后经侯宝林演绎成为家喻户晓的经典名段。
张杰尧在
相声行曾拜
高闻元（
高德明父亲）为师，一生带教过两个师弟，即韩子康、刘月樵。共收了十二位弟子，均按“松”字排名。即：单松亭、关松明、袁松麒、班松麟、田松山、刘松江、辛松斌、郑松涛、陈松波、杨松临、王松声、王松葵。人称：十二棵青松。