1924年8月，发起成立了“青年读书会”、“英语、数学研究会”等学生组织，宣传
马克思主义。被公认为学生领袖。8月底加入中国共产党。
1925年秋农校毕业，前往
河南省省会
开封市，先在开封第二高中补习，旋入河南中州大学。不久，便与共产党员吴芝圃取得联系，并在吴创办的“三民书店”里结交了不少进步青年。
1927年春，受组织派遣到武汉
中国工农红军学校学习。被编在入伍生男生第一大队第四中队。3月，在毛泽东创办的“中央农民运动讲习所”学习了一段时间，聆听过毛泽东、
肖楚女等的谆谆教导。以不同的方式引导其他学员探索革命真理，对“孙文主义学会”和“
国家主义派”散布的错误观点予以批驳。“四一二”反革命政变后，武汉军校1000多名学生奉命编成中央独立师，配合叶挺的
国民革命军第十一军第二十四师，开赴战地。他参加了保卫
武汉市战斗。
第一次国内革命战争失败后，回到家乡
商南县。与
李梯云、萧方等建立了联系，并与商南地区党的负责人和农运活动分子
詹谷堂、袁汉铭、廖秉国等秘密往来，经常活动于简家坳、老窝、
太平山顶、白沙河一带。为了掩护革命活动，他们都在附近学校里担使教学任务，到处宣传
南昌起义的胜利，痛斥
中国国民党叛变革命的罪行。
1928年2月14日，他与部分共产党员打入民团，开展兵运工作，相机举行武装起义，成立工农红军。在团丁中以“拜把子”的方式团结了20多个穷苦士兵，成立“兄弟会”，并征得党组织同意，先后在“兄弟会”里发展了十几名党员，建立党组织。
1929年5月立夏节期间，他被派往商城北乡驻防。
中国工农红军第三十二师成立后，他担任红三十二师副师长兼九十七团团长。
1930年5月任红一军二师师长，参加创建鄂豫皖革命根据地。红军面临发展和巩固的繁重任务，他积极出谋献策，在扩大红军，培训骨干，解决枪支弹药，加强部队的组织建设和思想建设等方面，做出了一定贡献。他创办“列宁室”，负责部队的训练和思想教育工作，加强纪念性，提高了军事素质，培养骨干。
1929年11月，参与指挥有名的智取商城的战斗，取得了以少胜多的辉煌成绩，毙敌300多人，缴获大批武器。商城第一次获得解放，他带领部队走街串巷，动员群众参加
中国工农红军，不到十天，便成立1个团。经常率领三、五十人的轻骑，在商东、商西、商北组织农民打土豪，筹集粮款和枪支弹药。12月底，他带一个班的红军战士来到商城西部重镇余家集，发动农民，袭击两户最大的地主庄园，缴获大批粮食、衣物、
银元和部分枪支。在余家集成立苏维埃政权，为
光山县、黄麻地区开展革命活动开辟了道路。