在国民革命军的编制序列中，历史上曾先后出现过4个第36军。一、湘军第8军第4师、教导师组成的第36军。二、陕军一部组成的第36军。三、赣军周浑元部组成的第36军。四、新编第34、暂编第15师组成的第36军

该军前身是湘系唐生智所属湘军一部。1926年3月，湘军军阀唐生智部起兵赶走了湖南省省长赵恒惕，自任代理省长和善后督办。同年4月，湘军其他各部起兵反唐。唐生智被迫接受国民政府改编，其所属一部编为第4师和教导师，隶属第8军。1927年2月，第4师和教导师被扩编为第36军。刘兴任军长，周斓任副军长。下辖：第1师，廖磊任师长；第2师，唐哲明任师长；第3师，周维寅任师长。该军组成后，便奉命参加明成祖北伐，隶属刘兴第2梯队。同年5月上旬，该军在围攻西平之战后，部队撤回武汉市。7月，被编为江右军进军至芜湖市，参加东征讨蒋作战。11月，南京政府西征讨唐，该军在南京政府军进攻下兵败，退至湖南淑浦后被桂系改编。1928年3月，刘兴辞去军长一职，由廖磊接任军长。1928年5月，该军在桂系军队的编成内，参加对奉军的北伐，进军至冀东地区。1929年1月，该军被缩编为第53师。

该军前身是陕军一部。1930年秋，在中原大战中，隶属阎锡山的原陕军李纪才部和邓英部，被中央军改编后合编为新编第13师。1931年6月，第13师该番号为第79师。同年7月，蒋介石为加强对中央苏区和中国工农红军的“围剿”，以第79师为基础扩编为第36军，任命路孝忱为军长。下辖第79师，路孝忱兼任师长。该军编成后，便奉命参加了对中央苏区和红军的第3次“围剿”作战。1932年9月，由于该军军长路孝忱病死，该军番号撤消，部队编散。

该军前身一部为赣军赖世第4师。1926年8月，隶属直系孙传芳的赣军被国民革命军击败后，被改编为国民革命军第十四集团军。1929年初，该军被缩编位第5师。1933年9月，蒋介石为加强对中央苏区和中国工农红军的“围剿”，将第5师和第96师合编为第36军，周浑元任军长。下辖：第5师，谢溥福任师长。第96师，萧致平任师长。1934年11月，该军被编成第8纵队，由湘鄂入黔川抵陕甘，参加追击与堵截对中国工农红军第二方面军长征的作战。

1937年8月，抗日战争全面爆发后，该军第5师由甘肃省开赴上海市，参加淞沪会战，由于在此次会战中，第5师损失惨重，难以补充重建，该师番号和编制被撤消。此时，该军仅辖第96师，赵锡光任师长。1938年2月，军长周浑元病逝，姚纯继任军长，谢溥福任副军长。同年10月，该军奉命由甘肃调防湖北，隶属国民革命军第二十二集团军，参加了武汉会战。1939年初，该军由湖北移防重庆市，隶属江防司令部，担任重庆卫戍任务。年底，又由重庆移防广西壮族自治区，隶属抗日战争第四战区，参加桂南会战。在桂南会战中，军长姚纯、参谋长郭肃因指挥作战不力，被撤职查办。部队由于伤亡严重，该军番号被撤消，原所属第96师该隶国民革命军中国人民解放军第五军建制。

1940年5月，国民政府为加强陕西省、山西省和河南省三省边界北地区的对日作战力量，将新组建的新编第34师、暂编第15师等部在河南灵宝地区编成第36军。隶属国民革命军第三十四集团军，赵锡光任军长，刘元塘任副军长。下辖：新编第34师，马志超任师长；暂编第15师，刘宗宽任师长。1941年5月，新编第34师奉命改隶国民革命军第57军，另将暂编第52师和暂编第59师列入该军序列。此时，该军下辖：暂编第15师，刘宗宽任师长；暂编第52师，林英任师长；暂编第59师，李洁任师长。1942年，该军由河南省调防陕西省，隶属国民革命军第三十七集团军。同年6月，军长赵锡光升任第37集团军副总司令，刘元塘继任军长，罗历戎、魏炳文、周世冕任副军长。1943年，刘元塘调走后，罗历戎继任军长，周世冕、张占魁、陈金城任副军长。

1945年初，国民党军进行均等编制调整，该军所辖暂编第15师被裁减，暂编第52师、第59师合编为第123师，另将国民革命军第80军被裁减后的第165师和第80军原辖新编第27师、第37师合编为第28师改隶该军。同时，将该军军长罗历戎与国民革命军第3军军长李世龙对调职务。同年7月，李世龙升任第37集团军副总司令，钟松继任军长，下辖：第28师，徐保任师长；第123师，盛文任师长；第165师，李日基任师长。此次整编后，该军隶属第37集团军，为配合胡宗南主力在西北的作战，同年8月至9月，该军在陇海路沿线地区，对解放区执行“清剿”作战任务。

1946年6月，中国国民党对军队进行整编时，该军改编为整编第36师，原军长钟松改任师长。原下辖第28师、第123师、第165师，依次改编为整编第28旅、整编第123旅、整编第165旅。此次整编后，该师隶属于整编第29军（第37集团军），驻防陕西关中。同年6月至8月，该师一部参加了尾追堵截人民解放军中原突围的作战。12月底，该师参加了与人民解放军在关中地区的争夺战。在此次作战中，该旅遭受重创，其一部被人民解放军围歼。1947年3月至同年秋，国民党军对陕北地区发起重点进攻后，该师在西北战场上多次与人民解放军交战，先后参加攻取延安市、西北三战三捷战役、羊马河战役、蟠龙战役等作战。同年7月，该师组成援榆快速兵团，增援榆林市。8月，该师在沙家店战役中，师部及所辖第123旅全部、第165旅两个团被歼。此次作战后，该师由于伤亡惨重，移防铜川市一带进行增补。

1948年春，该师被编入裴昌会第5兵团，隶属绥靖公署。同年4月至8月，该是先后参加了西府陇东战役和澄合战役。在澄合战役中，该师少将参谋长张先觉、高级参议李秀等被俘，大部被歼。同年9月，整编第36师恢复第36军番号，钟松任军长。原整编第28旅恢复为第28师，李规任师长；原整编第123旅恢复为第123师，方晓松任师长；原整编第165旅恢复为第165师，孙铁英任师长。此次整编后不久，该军在参加荔北战役遭受重创，其一部被中国人民解放军第一野战军歼灭。12月，该军在集结于临潼区、大荔县等地进行增补后，奉命参加了当年的西北冬季战役。1949年初，军长钟松升任第5兵团副司令官，刘超寰继任该军军长。同年3月至5月，该军先后参加了西北1949年春季战役和陕中战役。在陕中战役后，该军奉命撤至扶凤、眉县一带，参加阻击解放军西南战役的扶郿战役。在此次作战中，该军第123师在黑山寺作战中被人民解放军围歼。8月至10月，该军在参加秦岭战役中一部被歼后，余部逃往沙霸、进口关进行防御休整。10月，秦岭防线被人民解放军全面突破后，该军又退至川陕边地区组织防御。11月，该军在西南战役中担任防守川西新津的任务，被人民解放军全歼于川西新津地区。