濑谷支队和坂本支队为什么从台儿庄撤退呢？孙连仲第2集团军超乎寻常的顽强抵抗只是原因之一，更为关键的原因是汤恩伯第20军团的出现在了战场上。第20军团辖第52军、第85军和第110师，属于中央军，被日军视为****主力。在日军看来，地方军和杂牌军武器简陋，不堪一击，而中央军装备精良，还是需要提防的。
日军的目标就是消灭****主力，迫使蒋介石屈服，他们把汤恩伯军团出现在台儿庄地区看做是打击****主力、挫伤中国抗战意志的一次绝佳机会，于是匆忙制定了徐州作战计划。4月7日，日本大本营下达命令，要求华北方面军和华中派遣军协力击败徐州附近的****，然后东进（华中方面军、上海派遣军、第十军的战斗序列于2月18日被撤销，新编成华中派遣军，其下的第十六师团、第一一四师团编入华北方面军）。
这一次，日本大本营的胃口非常大，他们亲自指导此次作战行动，不仅要击败****主力、打通津浦线，还要继续东进，为进攻武汉做打下基础。日军陆军部的指导要领是：北线出动4个师团进攻徐州、1个师团进攻归德（今商丘）切断徐州****向西的退路，击败****之后占领兰封（今兰考）；南线出动两个师团切断****向南的退路，协助北线击败****主力。
日军密谋全歼****主力，****却想乘机扩大战果。台儿庄大战的胜利给了蒋介石信心，他把各路大军派往第五战区，打算再打一次胜仗。在他看来，日军为打通津浦线，一定会大举增兵继续进攻徐州，而****正好乘机实施运动防御作战，围歼来犯日军。日军上次进攻台儿庄出动了大约一个半师团的兵力，这一次肯定会增加兵力。会增加多少呢？蒋介石估计这一次日军可能会出动两到三个师团。对付两、三个师团，蒋介石还是有信心的，可是他万万没有想到，日军实际出动的兵力远远超出了他的预想。
毫不客气地说，蒋介石根本没有意识到自己大举增兵徐州的风险。几十万国军正面临灭顶之灾，如果不出意外的话，****将像淞沪会战一样损失一半的兵力。
4月18日，枣庄、峄县附近的日军转守为攻，濑谷支队、坂本支队和长濑支队齐头并进直扑台儿庄，与****第2集团军、第52军和第60军在台儿庄以南的兰陵店、禹王山、泥沟镇一带展开拉锯战。东线，日军国崎支队于16日开始进攻临沂，于19日占领临沂。****第52军、第46军在临沂南部猛烈反击，国崎支队遭到重大伤亡，难以继续前进。
至5月10日，日军和****在台儿庄北侧的战斗一直呈胶着状态。有人不仅要问，日军不是打算歼灭****主力吗，为什么至今仍然只有第五、第十师团参战呢？日军其它的部队为什么不参战？
华北方面军原本计划一开始就发动全面进攻，但是华中派遣军提出了不同的意见，他们认为一上来就全面进攻的话可能会引起****的警觉，****会直接放弃徐州向后退却，无法达到歼灭****主力的目的。因此，日军决定“中止第二军的攻击，扣住敌人，然后以第一军和派遣军在归德方面完成大的包围圈，可达到消灭敌人的目的。”
也就是说，日军第二军仅仅派出两个师团发动进攻是为了将****主力“扣住”，给其它部队切断****退路、完成包围争取时间！
5月9日，日军第十六师团从济宁出发，于当日到达郓城附近，准备南下鱼台、金乡。11日，第一军也展开了行动，出动第十四师团在兰封、范县之间强渡黄河。如此大规模的会战，第一军为什么只出动了一个师团？他们也想多派点兵过来，但是一个萝卜一个坑，实在抽不出更多的兵了。第一军下辖4个师团，其中第二十师团在山西南部，第一○九师团在山西北部，第一○八师团在怀庆（今河南泌阳市）、修武（隶属于河南焦作市）地区，能够支援第二军作战的只剩下第十四师团。
第十四师团于5月11日夜间开始渡河，14日占领曹县，按照大本营的命令，他们将南下归德（今商丘）切断****退路。
南线，华中派遣军故意迷惑****，只出动了两个师团在距离徐州很远的地方展开作战行动，其中第六师团坂井支队从芜湖北渡长江，于4月30日占领巢县，5月14日占领庐州（今合肥）；第一○一师团于4月26日占领盐城，5月7日占领阜宁。华中派遣军的主力直到5月5日才开始行动，第三、第九、第十三师团同时迂回北上，其中第九师团于9日占领蒙城，13日进入永城（徐州西南75公里）；第十三师团占领百善；第三师团于15日攻占大营集（今安徽泗县，徐州东南100公里）。
至此，日军第三、第九、第十三师团在徐州西南、正南和东南侧，第十四、第十六师团在徐州的西北侧，第五、第十、第一一四师团在徐州的北侧，这8个师团从鲁西、鲁南、淮北三个方向徐州逼近，****主力已危在旦夕。
关键时刻，李宗仁的“第五战区作战计划”挽救了****。5月