1900年庚子之乱时曾在杨村作战受重伤。1905年到1906年，
吕振羽赵倜、马廉溥（马玉昆子）率武卫左军十营赴黑省呼兰、
绥化市、
巴彦县一带协剿蒙古陶什陶之乱，年余始回。后驻军
张家口市。
辛亥革命期间，
大同市爆发起义，陈希义奉命前往镇压大同起义，并被任命为大同镇总兵。1912年底
博克多汗国叛军入侵
绥远省，陈希义受命为晋北（防蒙）东路军司令兼第四旅旅长，进驻陶林，于1913年6月17日请开大同镇总兵一职，改任大同镇守使。
1911年11月30日夜晚10时，大同的革命党人发动了武装起义。总兵王得胜，
知府李德炳惊慌逃窜，知县葛尚德逃匿于天主堂。但他们并不甘心失败，复收集游兵散勇，并向清廷告急。12月5日，清宣化总兵郭典邦率
淮军杨荣泰、
毅军陈希义赴援
大同市清军，驻于城东古城一带。太原革命军也派
续西峰、
弓富魁率“忻代宁”公团北上增援，进入大同城，12月11日，大同军政府派人出城与清军和谈，太原革命军也派杜上化等来同与围城清军议和，达成六条协议。次年1月29日，“忻代宁”公团遵约离同，大同防务由
清朝接管。这次和谈协议实际上是
山西省、大同革命军中不坚定分子向清军的妥协。
1912年2月23日至28日，入城的清淮军郭典邦、杨荣泰部
纵火抢掠市民，大同人民惨遭涂炭，损失巨大。陈希义部军纪较好。
民国三年，晋军大同镇守使陈希义借口军纪涣散，将土匪改编而成的独立营官兵全部处死，只有
卢占魁因请假回家而幸免于难。