幼习儒书，16岁中秀才。后进关投于
海思福（海大爷）、刘玉堂（即刘二爷，俗谓‘半拉子刘’）、
马玉麟等诸大阿訇门下。1900年穿衣挂幛后，历任保定西、北、东各寺，以及
定兴县、
易县等地，阿汉两通，精于阿拉伯、
波斯、德、俄等四种外国语。
1903年，应王浩然大阿訇之约，到北京西单牌楼清真寺（时俗称“牛街下寺”，即建国后用为之“北京西单菜市场”所在地）为首任教长。1908年，牛街清真公立第一两等小学堂成立，与
达浦生、李云亭等
北京市多名阿訇共同兼授阿文。1909年参与创办北京“清真教育会”，担任该会《清真杂志》、《清真白话报》、《北京民报》总发行人，其间赴任北京
马甸清真寺，创办北京第一所经儒学校（亦称“经汉大学”）。
1912年2月携弟子
马松亭、
杨明远、张鸿韬等赴任北京花市清真寺，提出关于
回族子弟应“多读中外文，将来才能立大事业”的主张，指出要实现这个愿望，一是“由各寺阿訇掌教极力倡导”，二是“更宜稍加强迫”，并身体力行，续收马善亭、
李廷相、
赵铭周、朱开祺、张耀亭、王敬一等，共计18名弟子，亲授阿汉两学。
7月，与
王浩然、安静轩、王丕谟、穆子光等共同发起创办中国回教俱进会，任评议长。9月，参与组织该会欢迎孙中山先生大会，受其接见，亲聆其关于“五族共和”、“振兴中华”的讲话，与
马邻翼、王浩然等7人同孙中山先生合影。不久，将所任寺内“清真第五学堂”更名为“清真文化小学校”（即今“北京
崇文区回民小学”之前身）。是年底，与王浩然的等共同应召前往蒙藏事务局组织创办《回文白话报》，兼任编辑主任。1914年1月，因该报办有成效，抵御了英、俄等国的分裂活动，“使边地受到好影响”，获七等
嘉禾勋章。
同年，兼理《京华新报·附张》编辑工作。此间先后发表《说回教教规暗合共和真理》、《说回教对国家社会之关系》，以及《说文字之尊重》等与社会发展相适应的文章。1915年主持北京东四清真寺改建工程，奠定了今天该寺门脸及三进院落的建筑格局，书写门外至今犹存的“清真古教”四个苍劲大字。1922年赴任本溪清真寺，收丁溪野（后为
回民支队领导人之一，我军高级将领）、丁武洋（后入讲武堂，抗战时参加义勇军）等为弟子。旋至沈阳清真北寺任职，参与创建
清真女寺和沈阳清真小学扩建工程。1924年12月赴
日本参观学校、工厂等，翌年1月应镰田荣吉之邀在东京交询会宣讲伊斯兰文化。这是我国学者向日本公众首次讲学的记录。1926年主持创办的沈阳文化清真寺第一期工程开工。
1930年，应
马邻翼、
马福祥、
唐柯三、
马松亭之函邀返
北京市（时称“
北平市”），任成达师范学校教务主任及阿文教授，同时为牛街阿文大学讲师。1931年初又回
沈阳市，于5月完成文化清真寺二期工程建设。1936年在该寺创办“奉天私立回教文化学院”（即今“
沈阳市回民中学”前身），坚持“养成回教教师人才”的宗旨，并设日、俄、阿拉伯、波斯等多种外语课程，以及
簿记等专业。
抗战胜利后，任沈阳回教会最高顾问、中国回教协会东北分会理事长，曾作为受难民众唯一代表在庆祝东北回归祖国等大会上致词，并控诉
日寇涂炭罪行。
中华人民共和国成立后，他在北京先后任
回族学校校长、教长。数十年来，他在实行“强迫教育”（即今所称之“义务教育”），提高学生文化素质的同时，坚持阿汉兼授，以“言必信，行必果”、“出必告，返必问”作为诚实教育和尊长教育的格言。所译《
古兰经》因反右而遭退稿，于“文革”间遗失。1989年5月中共中央有关部门发文指出：“张子文先生在历史上对传播
伊斯兰教文化，培养回族人才所起的作用，应予肯定”。