1944年4月18日，日军渡过黄河，至4月23日，日军相继攻陷郑州、新郑、尉氏、汜水、密县。然后偷偷地把第三十七师团、第六十二师团与独立第七旅团南调，将许昌团团围住。又调来战车及装甲汽车近百辆，明显要用“牛刀宰鸡”的战术，要在极短时间内拿下许昌。防守许昌的只有一个师：新二十九师，师长吕公良，兵力不过三千人，装备几乎可说得上是国军中最差的。

新二十九师进入许昌后，在残存的城墙根上修建明碉暗堡。由于北门为国军布防重点，工事修得很好，日军决定不直接攻北门，而是分为东西两翼，对许昌城作钳形包围运动。三十日晨，日军从西、南、北三个方向开始进攻，重点是西、南两个方向。攻击一开始，整个阵地就被枪炮打得犹如沸腾一般。守卫南关思故台的一个营打得非常顽强，日军从中午起连续发起四次冲锋，均被击退。战斗最紧张的时刻，吕公良师长来到城南指挥所坐镇指挥，士气更为旺盛。南关一带阵前日军遗尸遍地。最后，日军调来大炮对着思故台猛轰，守军全部阵亡。

吕公良当即抽调预备队，增援南关，与日军展开巷战。在逐街逐房的争夺中，预备队官兵与日军反复进行白刃战，营长何景明、胡光耀先后牺牲。下午，日军出动十二架飞机轮番轰炸许昌城。傍晚，敌军战车开到，轰开南城，随即冲入城内对周围目标猛烈炮击。四门中仅余北门、东门未失。天黑后，北门与师部电话联系中断，传令兵无法穿越日军封锁线。此时，吕公良师长急电汤恩伯派兵增援，但此时邻近仅有的一个主力军也在与敌人拼杀，无力增援许昌。入夜，整个许昌城内已陷于混战状态，战局已无法挽回，日军约于晚上十点左右打到城中心的十字大街。

此时，新二十九师三千多官兵，已坚守了二十一个小时后，眼看全师伤亡惨重，已没有什么战斗力了，5月1日凌晨零时，吕公良师长召开营以上军官会议，决定立即突围，并研究了突围计划。为了不让军旗落入敌军手中，吕公良师长含泪将军旗焚烧。然而，在突围战中，师长吕公良、副师长黄永淮、87团团长李培芹、85团团长杨尚武、补充团团长刘耀军五位将领全部牺牲，86团团长姚俊明重伤后失踪，最后突围出去的，只有五六百人。