该军前身是粤军第151、第152师。1937年7月抗日战争全面爆发后，
中国国民党军队进行统一整编时，以第151、第152师合编组成为第62军。1946年5月，国民党军队进行整编时，第62军改称为整编第62师。1947年3月，该师恢复第62军番号。1950年3月，该军在
海南岛战役中，被人民解放军全歼。
1926年7月，粤系国民革命军第4军、国民革命军第5军主力参加北伐时，各留一部坚守
广东省，由李济深统一指挥。1928年春，国民党军使用
路军编制体制后，将留守在广东的粤军改编为
八路军，李济深任总指挥。1929年3月，
蒋桂战争爆发后，李济深被
蒋介石扣留在南京后，第8路军由
陈济棠任总指挥。陈上任后对第8路军进行整编，将原来所属部队合编为第1、第2、第3军。1936年6月，粤军第8路军总指挥陈济棠与桂系
李宗仁、
白崇禧联合发动反蒋的“
两广事变”时，由于陈济棠部下
余汉谋被蒋收买，倒戈拥蒋，迫使陈济棠下台出逃，蒋介石任命余汉谋为第8路军总指挥。1936年9月余汉谋任广州绥靖公署主任兼第8路军总指挥时，取消军的编制，将所属部队统一改编为第151至第160师等部。
1937年7月抗日战争全面爆发后，
中国国民党军队进行统一整编时，以第151、第152师合编组成为第62军，隶属第4
路军。张达任军长，下辖：第151师，
莫希德任师长；第152师，陈章任师长。1937年12月，第4路军改编为
国民革命军第十二集团军时，该军隶属
中国人民解放军第十二集团军。1938年9月，第151师改隶新组建的国民革命军第83军。同年10月，日军在
广东省实施大规模登陆作战时，该军奉命参加广东方向抗登陆作战。此次战役失败后，
抗日战争第四战区副司令长官兼第12集团军总司令
余汉谋，将第151师师长莫希德作为替罪羊押解
重庆市治罪。
1939年1月，第83军番号撤消，第151师又改隶
国民革命军第六十六军建制。另将
国民革命军第65军第157师归国民革命军第62军建制，
黄涛任师长。1939年9月，
张达升任
中国人民解放军第十二集团军参谋长，黄涛任军长。此时，该军下辖：第153师，陈章任师长；第157师，
练惕生任师长。同年10月，该军在粤北参加了对日军的
百师大战作战。1940年春，
中国国民党军队进行编制调整时，第152师改隶国民革命军第63军建制，同时，第66军第151是和第63军第154师改隶第62军建制。此时，该军下辖：第151师，
林伟俦任师长；第154师，
梁世骥任师长；第157师，练惕生任师长。此次编制调整后，该军先后两次参加
粤北战役，奉命抵御日军由
广州市北犯。
1943年秋，第154师改隶第65军，第65军第158师改隶第62军，陈锦言任师长。1944年7月，第62军奉命驰援
衡阳市后，隶属第9战区，先后参加
长衡会战、
桂柳会战。1945年7月，该军第158师改隶
抗日战争第七战区直辖，另将
国民革命军第三十七军第95师调归该军建制。此时，该军下辖：第95师，
何旭初任师长；第151师，
林伟俦任师长；第157师，
李宏达任师长。同年8月，抗日战争胜利后，第62军奉命赴台湾接受驻台日军投降，隶属台湾警备总司令部。
1946年5月，
中国国民党军队进行整编时，第62军改称为整编第62师，隶属于保定绥靖公署。
黄涛任师长，李宏达、张志岳任副师长，谢义任参谋长。原第95师改编为整编第95旅，段云任旅长；原第151师改编为第151旅，林伟俦任旅长；原第157师改编为整编第157旅，李宏达任旅长。7月，黄涛离职，
林伟俦任师长。1947年3月，该师在镇压了台湾人民“二二八起义”后，由台湾海运至
天津市，担任津塘地区守备任务，隶属第17兵团。此时，该师恢复第62军番号，林伟俦任军长，莫汉英任参谋长。原辖各旅依次恢复第95、第151、第157师番号。同年10月，第95师调归保定绥靖公署直辖，另将国民革命军第53军第67师拨归该军建制，李学正任师长。1948年9月，该军奉命调往
东北地区，参加了辽沈战役。在辽沈战役结束后，该军回防天津时新建第317师。同年12月，人民解放军发起
平津战役后，该军由天津增防
北平市，不久后又奉命回防天津。在此期间，第157师被滞留在北平，其余各师回防
天津市。在
天津战役中，被人民解放军全歼。
中将军长兼天津防守副司令
林伟俦、第67师
少将师长李学正、第151师少将师长陈植等被俘。留守北平的第157师（师长何宝松），在傅作义宣布北平和平起义后，接受人民解放军的和平改编。
1949年2月，国民党军为加强在
广东省地区的防御力量，又在广东重新组建第62军，隶属第4编练司令部。
张光琼任军长，
张一中任副军长。下辖：第67师、第151师、第157师。不久，国民党军在调整部队编制时，将第67师与第157师合编为第153师。此时，该军下辖：第151师，
罗懋勋任师长；第153师，
李宏达任师长。同年10月，该军在参加
广东战役中，军部及直属分队1500人在中共底下党组织、粤桂边游击纵队策动和接应下，于湛江西营起义外，其余被全歼。广东战役后，国民党军在
海南岛再次重建第62军，隶属琼崖防卫总司令部，
李铁军任军长，下辖第151师、第153师、第163师和教导师。1950年3月，该军在
海南岛战役中，被人民解放军全歼。