30日晚，三十一師占領台兒莊以北之林莊，猛攻日軍側背，日軍腹背受敵，這才將正麵兵力轉向東側，猛攻關軍。激戰一晝夜，至31日下午，關軍已占領蘭城店、小集等據點和獐山、天柱山，其主力迫近南洛與北洛，瀨穀旅團已被包圍。
正當國軍要發動攻勢圍殲日軍時，由臨沂轉來的阪本旅團主力，於4月1日從愛曲、向城方麵進入蘭陵鎮，從東麵側擊關軍。關軍乃以一部阻敵，主力由作字溝攻擊阪本旅團側背，阪本急於解瀨穀之圍，乃留千餘人在洪山鎮附近抵抗，主力向台兒莊右翼突進，複入中國軍隊包圍圈。台兒莊戰火再熾。
台兒莊方麵，4月1日夜，第二十七師八百餘人攀登寨牆突入東北角，襲擊日軍，敵倉皇失措，被擊斃甚眾，國軍占領東北隅及東門以北幾座碉樓。2日夜，三十一師250人組成奮勇隊突入莊西北角進行夜襲，日軍倉促應戰，被斃斬者甚多，國軍又奪回西北角。雙方在莊內民巷展開激烈爭奪，但由於日軍阪本支隊突然加入戰鬥，國軍傷亡本已慘重，因而再次陷入苦戰，台兒莊四分之三落入敵手。
4月4日深夜，第二集團軍司令孫連仲向戰區司令長官報告說：“第二集團軍已傷亡十分之七，敵人火力太強，攻勢過猛，但是我們把敵人也消耗得差不多了。可否請長官答應暫時撤退到運河南岸，好讓第二集團軍留點種子，也是長官的大恩大德！”
李宗仁接此電報後考慮了許久。他預計湯恩伯軍團明日中午可進至台兒莊北部。第二集團軍如於此時放棄台兒莊，豈不功虧一簣。因此，他對孫連仲說：“敵我在台兒莊已血戰一周，勝負之數決定於最後五分鍾。援軍明日中午可到，我本人也將於明晨來台兒莊督戰。你務必守至明天拂曉。這是我的命令，如違背命令，當軍法從事！”在電話中，李宗仁還要孫連仲不但要守到明天拂曉之後，而且今夜還要向敵組織夜襲，以打破敵軍明晨拂曉攻擊的計劃。李宗仁說：“堅持就是勝利，待明天援軍到後，我們就可對敵人實行內外夾擊！”
當時，孫連仲的預備隊已全部用完，部隊傷亡過大，組織夜襲是十分困難的。但經過動員，輕傷員自動組織起來，主動要求承擔向敵人展開進攻的任務。為了表示向敵人反擊的決心，孫連仲對第三十一師池峰城師長命令說：“士兵打完了你就自己上前填進去。你填過了，我就來填進去。有誰敢退過運河者，殺無赦！”
池峰城師長奉命後，知軍令不可違，乃以必死決心，任憑敵人如何衝殺，也死守不退。戰至黃昏，敵人即停擊進攻。及至午夜，國軍先鋒敢死隊數百人，分組向敵逆襲，衝入敵陣，奮勇異常，部分官兵手持大刀，向敵砍殺，敵軍血戰數日，已筋疲力竭，不料國軍尚能乘夜出擊。日軍在慌亂中倉促應戰，亂作一團，血戰數日為敵所占領的台兒莊市街，竟為國軍一舉奪回四分之三，敵人死傷累累。
4月5日拂曉，湯恩伯軍抵達台兒莊以北，國軍遂對磯穀師團形成反包圍。這時，台兒莊內守軍配合外線攻勢，由內線反擊。在強大炮火支援下，以敢死隊衝入敵軍陣地，勇猛刺殺敵人。4月6日，國軍全線出擊，殺聲震天。敵軍血戰經旬，已成強弩之末，彈藥汽油用完，機動車輛多數被擊毀，其餘也因缺乏汽油陷於癱瘓，全軍膽寒，狼狽突圍逃竄，潰不成軍。國軍乘勝追擊，敵除瀨穀支隊殘部數千人逃掉，其餘全部就殲。
台兒莊之戰到此告一段落。其前後曆時半個多月，日軍恃其武器精良、炮火猛烈，不斷向台兒莊進攻。中國守軍依靠步槍、手榴彈、機關槍和少量重武器，以傷亡近兩萬人的代價，擊潰了日軍精銳部隊第五、第十師團對台兒莊的進攻，殲敵萬餘人，擊毀戰車十餘輛，野重炮十餘門，雖然在今天看來這個戰役並不很大，但在當時平漢、津浦兩線中國軍隊一觸即潰，而淞滬會戰後又遭受南京慘敗的情況下，台兒莊之戰大大鼓舞了人心士氣。當時中國著名記者範長江在徐州采訪，根據李宗仁長官部新聞發布官員的宣傳，向《大公報》編輯部發出台兒莊大捷的消息。《大公報》即在武漢搶先發出號外。國民政府軍委會政治部第三廳組織10萬人的火炬遊行，慶祝台兒莊殲敵的偉大勝利，台兒莊之戰自此斐聲中外。