1938年，国民政府军队与日军在津浦路南段展开胶着的拉锯战，日军第六师团坂井支队于4月23日从芜湖市出发，2天后抵达合肥市城下。

1937年年底，日军攻下南京，一路向西，直逼武汉而来。

徐源泉率领的国民党第二十六集团军、徐继武率领的第48师以及罗树甲率领的第199师，以及合肥警备司令部招募的地方武装千余人以数量不足的低劣装备，抵御了坂井支队装备精良的2000多人三个昼夜。

屡攻不克的敌人从南京调来大批飞机进行轰炸。

1938年4月28日，日军5架飞机在合肥东至坝上街，西至三孝口，南起官盐巷，北至义仓巷的范围内，投下100多枚炸弹，一时火光四起，哭叫之声不绝于耳。尤其是四牌楼、十字街以东，火海一片，直烧至次日晨方熄，被毁房屋千余间。被炸死炸伤者中，有的是全家遇难。敌轰炸机猛轰滥炸达一个多小时，刚刚离去，敌侦察机又临空低飞盘旋，不时以机关枪扫射。死伤军民200余人，房屋被焚被炸毁达千余间。

4月29、30日两天，日军航空队无差别地毯轰炸，军心始动摇。战至4月30日，警备司令部所属地方武装哗变，出城投奔新四军游击队。敌军遂从该部把守之德胜门、小南门进据合肥市。徐源泉部退守城西合肥小蜀山墓园、四十铺，合肥遂沦陷。

日军进城后，极尽残暴之能事。被俘的徐源泉部数百人，全被驱至小东门外河边杀死，河水尽赤。日军进城之时，逢人便杀，大街小巷，血肉模糊的尸体随地可见。据不完全统计，仅由红十字会于城陷数天中掩埋的尸体，即达五千余具。全家投塘，跳井者为数亦多。其中知名人士如三育中学语文教师黄海三全家投塘殉难，著名学者刘启琳（字石宜）老夫妇，年近七十亦投塘自尽（因其子尔昭惨死于鬼子屠刀之下）。时值盛夏，尸体很快腐烂，臭气冲天，苍蝇扑面，行路时必须用扇扇开苍蝇，方能前进。每至夜晚，日军越墙入户，奸淫妇女，虽十岁幼女，七旬老妇亦难幸免，号哭呼救之声惨不忍闻。拒奸被杀或受辱自尽者，比比皆是。当时的合肥城俨然一座人间地狱。

1938年9月29日，日军以海陆空三军配合作战，攻陷田家镇要塞，10月24日，日军破黄陂区，打开通往武汉市的最后一道屏障。徐所属二十六集团军在潜山王家牌楼一战伤亡惨重，徐遂率部往京汉铁路（京汉铁路）以西转移。

合肥保卫战为中国国民党政权从武汉向西南的“大撤退”做了一个时间缓冲。但合肥保卫战我方损失惨重。