该军前身是国民革命军东北边防军骑兵军。1935年8月，原东北军骑兵指挥部改编为东北骑兵军。

国民革命军骑兵第二军发展史

该军前身是东北军骑兵军

1935年8月，原东北军骑兵指挥部改编为东北骑兵军。

1937年8月，抗日 战争全面爆发后，原东北骑兵军番号取消，所辖骑兵师分编为骑兵军。其中以骑兵第3师扩编成骑兵第2军，隶属国民政府中国国民党军事委员会直辖。何柱国任军长，郭希鹏任副军长，下辖骑兵第3师，徐梁任师长。该骑兵军组成后，参加了太原会战中的晋北战役和忻口战役。

1939年7月，该军改隶第8战区时，骑兵第6师和第8战区步兵旅改隶该军。此时下辖：骑兵第3师，徐梁任师长；骑兵第6师，王照坤任师长；步兵旅，孟绍周任旅长。

1941年5月，何柱国升任第15集团军总司令，徐梁接任军长，郭希鹏、安俊才任副军长，。此时该军因参加

1940年百师大战作战中受损，战马和兵员无法补充，将骑兵第3师和骑兵第6师合并为骑兵第3师，骑兵第6师番号被取消。另将第92军暂编第14师改隶该军，该军原辖步兵旅撤消，所属部队编入暂编第14师。此时，该军，下辖骑兵第3师，王照坤任师长；暂编第14师，廖运泽任师长。当年，该军先后参加了豫南会战和第二次长沙会战。

1942年4月，暂编第30师改隶骑兵第2军，路可任师长。

1943年4月，暂编第30师奉命改隶属暂编第8军。同年10月，该军隶属第15集团军时，军长徐梁任第15集团军副总司令，廖运泽继任军长，安俊才、王照坤任副军长。此时，该军下辖：暂编第14师，李鸿慈任师长；骑兵第3师，徐长熙任师长。

1944年4月，该军参加了豫中会战。

1945年8月，抗日战争胜利后，该军番号和骑兵第3师被裁减，所辖暂编第14师改隶属第9军。