在台儿庄战役以后，日本大本营本来因为准备不足而决定暂不扩大战场，但在台儿庄会战期间“看到在台儿庄方面有大量我国军队，特别是汤恩伯军团的出现，认为给我国主力一次大打击，是挫伤我抗战意志的大好机会，因此决定进行徐州作战”。

4月3日即向日军大本营向日军传达了预先号令，并将华北、华中日军的参谋召回东京，进行了研究。4月7日正式下达了“大陆命”84号命令。

根据日军之准备情况，日军大本营于4月7日向华北方面军、华中派遣军下达了：重创中国军事力量，特别是汤恩伯军团，攻占徐州、打通津浦路的命令。随后，在台儿庄战役以后，日军发动了更大规模的攻势。

日军寺内寿一元帅下令，日军华北方面军以主力占领至兰封以东、陇海路以北地区；日军华中派遣军之主力向淮河、长江以北进击，遮断徐州以南、以西我国军队之退路，另外，占领徐州及津浦路南段与安徽省之合肥和苏北之盐城、阜宁地区。

由此，日军将会形成一个大包围圈，日军将出动9个师团，3个航空兵兵团，还有大量炮兵，汽车，工兵，迫击炮独立部队。执行这一任务，而在徐州附近我国军队主要是，第5战区的8个集团军27个步兵师。

战役爆发以后，日军迅速夺取徐州外围的，苏南地区，河南东部，山东南部等地区，对苏北的徐州地区，逐步形成了巨大的包围圈。5月，日军第2线兵团加入战斗，开始兵分几路向徐州突进。

敌这次进攻徐州与在鲁南的台儿庄作战已大不相同。台儿庄作战第10、第5师团各仅投入1个旅团，总兵力仅为1个师团。这次，直接投入战场的，日军华北方面军为5个师团、华中派遣军为3个师团。

在5月7日，一支来自广西的部队，第173师第1038团抵达徐州战场，在这个下雨的夜晚，他们刚刚进入蒙城，就突然遭到了日军大兵团的攻击。最后团长凌云上，只带着7名士兵冲出包围，报告在我国大军南部出现了日军大兵团。

这个时候第5战区开始感到紧张了，很明显日军已经形成了合围。于是命令西北军第68军，还有后来很有名的赵子龙师第95师在淮北阻击日军。

但是当部队集结，然后再准备，徒步行军到预定地点，战局已经发生了很大变化。日军第13师团突破了第95师赵子龙师1个团的阻击，第9师团也从侧翼包抄上来，吉星文旅虽然发动大刀夜袭，但是失败。

日军第13师团派出一个快速战斗群高速前进，切断了陇海铁路。这个战斗群由1个坦克大队，1个装甲车中队，2个摩托化步兵中队和1个工兵中队组成。

因此，当时无法在徐州再打一场台儿庄战役，最紧要的就是跳出包围圈，因此，当时命令汤恩伯第20军团负责阻击日军，全军从唯一的缺口宿县突围，而当战区司令李宗仁将军的司令部从宿县突围的时候，日军第3师团第18联队就从他们身边经过，差一点，就被日军打掉司令部。1个警卫营只有几百把驳壳枪，无法对战1个正规联队，全体都蹲在路边庄稼地里，日军在道路上行走，并没有发现。