战绩传来，蒋介石暗自庆幸当初接受了李宗仁的建议，让张自忠留任和保留庞部的全额编制。七七事变后与日本的交涉和北平失守曾使张自忠背上汉奸的骂名，他从北平逃回南京向蒋介石负荆请罪时，群情汹汹，吁请严办。在李宗仁的说情下，蒋介石同意让张戴罪立功。这样才有临沂战前，张自忠的悲壮陈词：“无论什么部队都可以打败仗，独我张自忠的部队不能！我的冤枉，只有一拼与死，拿真实的战绩，才能洗干净。”也才会出现一昼夜180里的急行军和临沂的拼死血战。
与临沂阻击战同时，另一支杂牌军——川军王铭章部也在滕县上演了催人泪下的悲壮一幕。一二二师在师长王铭章亲自指挥下，与日军矶谷师团血战三昼夜，全师官兵英勇殉国。王铭章是邓锡侯二十二集团军下的战将，邓锡侯部出川抗战时，装备奇差，所用枪械半为土造。沿途无补给兵站，势必就地购买粮草，对军纪不无影响。抵达山西时太原已失，在日军快速机动部队冲击下，大队川军狼狈后退，沿途遇有晋军军械库，便破门而人，擅自补给。
此事惹怒了阎锡山，要求蒋介石调走川军。近旁的一战区司令长官程潜也拒绝接收。蒋介石正因南京沦陷，情绪不好，闻报后，勃然大怒道：“统统调回去，让他们到四川称王称帝去吧！”因韩复榘不战而退，正愁没有援兵的李宗仁听说后，欣然接收了这支人见人怕的部队。滕县一战，川军以寡敌众，延缓了日军的攻势，不惜重大牺牲，为汤恩伯、孙连仲等援军及时赶到参战争取了宝贵的3天时间。川军一战成名，洗刷了往日的屈辱。
3月20日，滕县失守，日军先锋赖谷支队于23日进攻台儿庄。孙连仲部已在此布防，敌我双方在台儿庄附近展开激战。27日以后，敌我双方展开拉锯战。池峰城第三十一师与敌反复肉搏，歼敌三千余。月底，日军为快速攻占台儿庄，舍滕县东南山区的汤恩伯部而不顾，矶谷师团尽其所有，全力猛攻台儿庄，战斗极为惨烈。台儿庄已有一半为日军所占，敌我双方逐房争夺。4月3日，全庄有2／3已为敌占，孙连仲部伤亡过半。
孙部原为冯玉祥的西北军，名义上虽辖两军，但在娘子关保卫战中损失很大，四十二军所剩仅一个空番号，屡次请求补充都未获准，后来连该军番号都被中央新成立的部队取而代之。所以，该集团军实际战斗力仅仅3个师。所幸该军最善于防守，作战英勇，方保台儿庄不失。血战期间，李宗仁多次电令汤恩伯部南下夹击，汤却逡巡不进，在请示蒋介石后，李宗仁对汤发出最后训诫：如贻误战机，韩复榘便是你的先例！在蒋介石电责之下，汤部终于南进。
守庄的孙连仲和池峰城均有暂时退出台儿庄的打算。但李宗仁则认为4月4日中午，汤恩伯部可以进至台儿庄北部，完成合击矶谷师团之任务，故绝不允许撤退，并以悬赏为法，命孙组织敢死队死守。孙绝对服从命令，并亲自督战。至午夜，组织敢死队数百人，各人都手持大刀，分组向敌人进袭，敌人没有准备，溃不成军，我军竟一举夺回台儿庄3／4的阵地。长官部夜半得报，汤军已向台儿庄以北迫近，天明可到，李宗仁于是率若干随员至台儿庄郊外，亲自指挥台儿庄歼灭战。至黎明时，汤军团至敌侧背，敌陷重围，国军展开全线反击。至4月7日上午，敌矶谷师团大部被歼。余部乘夜突围，窜向峄县，闭城死守。
台儿庄一役共歼敌1．19万多人，毁敌坦克30余辆，是中国抗战以来的空前大捷，也是日军的第一次大惨败。捷报传出，举国若狂，抗战前途露出一线曙光。因上海、南京沦陷笼罩在蒋介石心头的愁云一扫而空。4月7日，蒋介石致电祝贺，并拨款30万元派俞飞鹏赴台儿庄前线慰劳。前去参观的中外记者和慰劳团大批涌到，默默无闻的台儿庄经此一战，顿时成为民族复兴的象征。
日本侵略军不甘心其在台儿庄的失败，重新部署3个师团的兵力进攻徐州。为滞缓敌人西犯，消耗敌人的有生力量，蒋介石陆续调集各路军队增援第五战区，总兵力共达60万人。他希望坚守徐州，在台儿庄大捷的基础上乘胜与敌决战一场。但此时，日军南北夹击，已逼近徐州，并增调兵力构成数重包围圈，使我60万大军四面受敌，有全军覆没之危险。为了摆脱不利态势，保存抗战实力，蒋介石同意放弃徐州，向中原转进。李宗仁奉命指挥大军立即化整为零，分五路突围，冒着日机的跟踪轰炸，日夜兼程，突破了日军的重重围困，大都安全抵达皖西、豫东地区，为行将到来的武汉会战保存了必要的有生力量。5月19日，日军进占徐州，被围的数十万中国军队却连影子都不见了。当然，他们也终于打通了津浦线，截断了陇海线，把南北两个战场连接起来。
从南京沦陷到主动放弃徐州，蒋介石调集部队与南北夹击的精锐日军，在鲁南和津浦线周旋达5个多月，虽有巨大牺牲，但达成了以空间换时间的目的。从而使得抗战前期的正面抗战场度过了上海、南京沦陷后一度出现的军事危机，各军得以补充和训练新兵恢复和增强了战斗力。
5月31日，蒋介石致电军委会说及“徐州鏖