张国梁早年在广西贵县加入洪门，1849年在广西横州领导天地会起义，后接受广西按察使劳崇光的招降。1851年随广西提督向荣镇压太平天国运动，次年升为都指挥使司。1853年随向荣追击太平军至南京城郊，建立江南大营，耀为总兵。1856年4月太平军攻破江北大营，他曾率军驰援，破陷浦口区，因功加提督衔。不久，太平军急攻江南大营，他复率军回援，但连吃败仗，左足受伤。江南大营被太平军攻破后，他与向荣逃往丹阳市，后又与和春重建江南大营，围团太平军于天京（今南京），官至提督。1860年太平军再次攻破江南大营，张国梁逃至丹阳，落水溺死。 张国梁死后被追赠为太子太保、一等男爵，与向荣合建忠义专祠。

张国梁是两次围困金陵之江南大营的统帅名将， 作战经验丰富，是当时清军中少有的悍将。

爱新觉罗·旻宁三年（1823年），张国梁出生于肇庆市鼎湖区沙浦镇苏坑村，原名嘉祥县，字殿臣，小时在乡下，行为放纵。15岁时随叔父往广西贵县全昌咸货铺做伙计，负责挑水煮食。这时他习染赌博，日中常与无赖、恶少群聚，赌博游荡。一次因发生争端，张国梁将人打死，被官府搜捕，于是投奔山寨堂口。这时张国梁深得山寨首领赏识，将女儿许配给他为妻。不久，首领病死，张国梁接替统领手下人马，时年方18岁。 

道光二十五六年间（1845年-1846年），张国梁的势力已控制了贵县、横州一带的水陆要道和乡村、圩镇。树旗号称怡义堂，扬言要替天行道、劫富济贫。在横州大滩伏破庙设立营寨“收行水”“打单”，“开阁”，向土豪，富豪下手，一时有俗谚流传：狠如狼，怯如羊，扶弱锄强张国梁。不久，张国梁势力进一步扩大至左江一带，最盛时有部众万余人。 1848年1月，张国梁，在广西宾州聚众暴动。 

道光二十九年（1849年），张国梁的人马威胁南宁府，城外的船家，销户已经听命，形势紧张，声震远近。驻守南宁的都司盛钧束手无策。当时洪秀全的拜上帝会也曾向张国梁发出招请，但是张国梁拒绝了他。

在1849年中，广西壮族自治区灾荒严重，全省大多数府县均发生群众暴动。张国梁竖“替天行道”的大旗，往来于梧、浔、宾、横诸州，抢劫富户。 清廷听取盛钧的建议，命令广西提督向荣，按察使（后调任布政使）劳崇光通过当地绅士来联系向张国梁发出招抚。 这年12月，张国梁叛变，接受浔州知府顾元凯的招抚。

投诚清代是完全违反天地会的宗旨的。张国梁与清廷秘密商定，清军来攻，张国梁诈败，论称力不能支，然后将寨中购物分给同党，随者留，不随者去。后来，张国梁照旧统领旧部，掉转抢头，与各股清军一起，投入清军围剿天地会、拜上帝会以及其他起义队伍的军事活动中。在张国梁投诚的初期，本地的士绅富户出于私愤，连同招抚其他“股匪”的事，向清廷呈控广西壮族自治区大员姑息养奸。但张国梁惯于笼络部下，在作战中往往身先士卒，常获小胜。当时清军腐败，各色旗兵，绿营中战斗力低下，张国梁在这样的清军中显出较强的战斗力。因而仍然被广西大员保举。在咸丰元年（1851年）7月，因剿灭造反艺人颜品瑶，获谕旨补千总衔。以后每次较大的胜利都获晋升，由守备而升为参将、副将，张国梁当时才二十七八岁。

太平天国广西金田起义后，张国梁转隶钦差大臣向荣，成为向荣的得力于将。咸丰二年(1852年)，在援解桂林市围困和克复全州县、永安战斗中，因勇敢善战升都指挥使司。赴援湖南省后，在醴陵市、益阳市、湘阴县、洪山等地与太平军作战时，皆打先锋。咸丰三年(1853年)，随向荣部尾追太平军至南京城郊孝陵卫，建立江南大营，围攻南京。在进攻钟山战斗中负伤，得爱新觉罗·奕詝温旨垂问，益发激奋，作战更加勇敢。咸丰四年(1854年)，在进攻太平镇战斗中，张国梁采取三路设伏纵火，自率精锐400人突人守军阵营，一举攻克，时称奇捷，擢升他为三江侗族自治县协副将。咸丰五年(1855年)，在镇江会战中，张国梁因战于上方桥获胜、截击江北太平军有功，擢升福建漳州镇总兵。

咸丰六年(1856年)上半年，太平军集结强大兵力，进攻清军江北、江南大营。江苏巡抚奇他拉吉尔杭阿战死，镇江市之围被解，溧水区被陷，太平军数路夹击江南大营。向荣抵挡不住，急调张国梁回援。张国梁血战累日，左脚负伤，兵败后与向荣退守丹阳市。向荣死于军中，清廷任命和春为钦差大臣、江南大营统帅，张国梁帮办江南军务。8月，正当太平军在天京外围战场取得重大胜利之时，天京事变起，诸王互相残杀。江南大营乘势卷土重来。张国梁激励将士解金坛区围，复克东霸，占浦口区、江浦，进攻句容市，因功擢升湖南提督，赐黄马褂。

咸丰七年(1857年)7月，和春、张国梁率大军进攻江苏高资、进围镇江市。在石埠桥、七星观、仑头一带，连破援军，夺取了南京东南的句容。12月，太平军经营5年的重镇镇江，终被张国梁、和春等攻破。爱新觉罗·奕詝闻捷大悦，诏嘉张国梁谋勇超群，赐骑都尉世职。次年1月，在德兴阿率江北大营清军大举进犯江浦县的同时，张国梁率江南大营清军向天京城的高桥门、钟山、陵关进攻。3月28日，攻克秣陵关，咸丰皇帝赐予双眼花。至4月中旬，太平军被迫退出江浦，天京外围重镇接连丧失，天京形势危急。

咸丰八年(1858年)，洪秀全重建领导核心。9月，太平军对清军江北大营发动进攻，一举攻占浦口，江北大营崩溃。太平军乘胜勇追，连续攻破江浦、天长市、仪征市、扬州市、六合区。10月15日，张国梁率江南大营清军6000余人渡江增援，于2日夺回扬州、仪征，因功调任江南提督，晋升三等轻车都尉。咸丰九年(1859年)4月，领军攻陷江浦九湫洲太平军营垒，后退出。咸丰十年(1860年)2月，张国梁率江南大营清军攻占浦口九袱洲，卡断天京水路、陆路接济，天京再度危急。洪秀全急诏上游各军回救。4月，太平军用计以精兵袭取杭州市，和春果然中“三十六计之围魏救赵”之计，派大军前去支援。太平军立即调集各路大军，以绝对优势，第一次世界大战把江南大营打垮。张国梁与和春退守镇江市，旋败走丹阳市。5月19日，张国梁再战再败，身负重伤，于丹阳南门外渡河时淹死。张国梁的败讯传至清廷，咸丰帝甚为泪丧，多次询问张国梁的下落，幻想张国梁大难不死。因找不到户体，暂时不敢发表。两个月后正式宣布战死，优加追恤，为他追赠太子太保，三等轻车都尉，一等男爵，其子荫清得袭男爵。朝廷后来又加赠，追谥为忠武，并饰令高要县建专祠祭祀。该祠俗称张公祠，位于肇庆阅江楼侧，每年举行春秋二祭。

《太平天国轶闻》中评价张国梁：张国梁十八岁为盗贼；二十八岁从军，成为一名虎将；三十八岁战场殒命，实现了他战死疆场的夙愿。他平生经历大小数百战，多是以寡敌众，他所指挥的历次战斗，或诱敌，或设伏，或进退，或攻守，都恰与古代的兵法相符合。

学者赵亦彭评价张国梁：张国梁由于实战经验丰富，故而在作战过程中表现较为出众，是当时清军中少有的悍将。

张国梁墩墓内葬有张国梁的两只牙齿及生前所用的衣服头盔。当时墓前有长长石路直通墓，墓地石人石马排列成行，墓碑巍峨，气势雄伟（其墓在修排洪渠中毁）。家宅称为“将军府”，位于苏坑村后。房深四进，厅堂布列，厢房翼辅。宅左为宽尚书房，书房前是一大庭院，其间有鱼池、花圃、石山、栋宇高昂，陈设不凡。因年久失修，后进已被拆毁。

张国梁少时就与一些有侠义心肠的人交朋友，敢打抱不平，每当他的朋友受到土豪劣绅欺压时，他都挺身而出，甚至不惜杀人犯法，因此，受到了官衙的追捕。被迫无奈之下，他只好与盗匪为伍。匪首见他相貌堂堂，想把自己的女儿嫁给他。但女儿却嫌张国梁资力太浅，坚决不同意。匪首又要提拔他当自己的副手，又被同伙拒绝。贼匪中的称呼是以匪首为“老大”，后面以本事的大小，排列为老二、老三、老四等等，当时，群贼都呼张国梁为“老么”，“么”就是最小最后的一个。然而，每次出去抢劫，张国梁都比别人抢得更多，每遇官兵来剿时，也由他指挥抵抗，又场场胜利，所以，众贼渐渐地都很佩服他。一天，山中粮食断绝，众盗匪商量着要到中越边境上去抢劫。到那以后，京族却赶出了一群大象来防御，盗匪只有撤退。第二天再去，张国梁让同伙捕捉了一百多只老鼠，等大象再来时，他们将老鼠放出去，老鼠满地乱窜，大象不敢动步，张国梁等人大掠而归。后来，贼首“老大”病死，同伙都推张国梁为首领。