3月31日，中國軍隊把進入台兒莊的日軍全部包圍起來了。
台兒莊的日軍處於危急狀態。為了策應台兒莊的戰鬥，日軍第2集團軍命令攻擊臨沂的阪本支隊轉向台兒莊，支援台兒莊戰場。阪本支隊於31日到達向城、愛曲地區，從側麵攻擊第20軍團，企圖解第10師團之圍。湯恩伯指揮的第20軍團發現這路日軍後，命令第52軍和剛剛到達的第57軍一起，圍攻阪本支隊。經過數天戰鬥，阻擊了阪本支隊，使日軍增援台兒莊的計劃沒有實現。
4月1日，日軍為了增加台兒莊方向的兵力，不得不把第8旅團第39聯隊的一個大隊派遣到台兒莊。連日激戰，台兒莊難以攻克，日軍第10師團已經山窮水盡，磯穀廉介中將能夠掌握的預備隊，也隻有5個營的兵力了。
4月3日，日軍再次向台兒莊陣地上的中國守軍發起攻擊，不斷投擲催淚瓦斯彈。當日軍攻占台兒莊的東南門後，突入城寨百餘米，台兒莊大部分市區的街道被日軍占領。第31師官兵在激戰中死傷2/3，仍然據守南關的幾處陣地，同日軍拚死抵抗。
中國軍隊衝入台兒莊殲滅殘敵李宗仁分析了戰場全局情況，拿起電話，冷靜地命令孫連仲：“第2集團軍各部必須堅守至次日拂曉，拖住日軍，等待湯恩伯軍團前來增援。”
孫連仲毫無懼色，堅定地回答：“長官有此決心，我第2集團軍犧牲殆盡不足惜，連仲亦以一死報國家。”
４月４日深夜，湯恩伯指揮的部隊到達台兒莊的北麵。這時候，台兒莊已經有2/3被日軍占領。
李宗仁原來認為，湯恩伯的部隊４日中午即可到達，因此，命令孫連仲於４日晚上向日軍陣地反擊。這天半夜，孫連仲總司令把陣地上所有能用的兵都集中起來了，傷員們來了，炊事員，擔架兵，都站到了敢死隊的行列裏。這支數百人的敢死隊正要出發，電話鈴響了。
池峰城師長在電話中向孫連仲總司令請示：“是否可以撤退到運河南岸去？”
孫連仲毫不猶豫地命令：“部隊決不能撤退。士兵打完了，你自己填上去。你填過去了，我就來填進去。有誰敢過河者，殺無赦！”
池峰城師長以必死的決心組織部隊抵抗，把增援的日軍擊退。
這夜，第31師的敢死隊在夜暗中衝入日軍陣地。日軍連日作戰，沒有料到中國軍隊會在半夜裏突然殺出來，倉皇應戰，潰不成軍。敢死隊的一場夜戰，台兒莊陣地被孫連仲奪回了3/4。
這是中國守軍的一個奇跡。這場夜間戰鬥，湯恩伯指揮的部隊沒有參加。
4月5日，蔣介石打電報給湯恩伯，嚴厲指出：“台兒莊附近會戰，我以十師之眾對師半之敵，曆時旬餘未獲戰果。該軍團居敵側背，態勢尤為有利，攻擊竟不奏效，其將何以自解？急應嚴督所部於6、7兩日奮勉圖功殲滅此敵，毋負厚望。”
在蔣介石的嚴厲命令下，湯恩伯指揮部隊向日軍的後背攻擊。
4月6日拂曉，台兒莊陣地上仍然是硝煙彌漫，幾聲槍響打破了黎明的寂靜。瀨穀啟少將看到自己的部隊損失慘重，已經難以繼續戰鬥了，幾經思考，命令部隊停止攻擊，收縮陣地，準備於傍晚撤出台兒莊。誰知，磯穀廉介中將接到以上情況報告以後，堅決不同意日軍撤出陣地，命令他們立即轉入攻勢行動，去消滅台兒莊的中國守軍。
瀨穀啟看到中將發來的命令，又看了看陣地上到處都是死傷的日本兵，把這份命令緊緊地捏在手中。日本軍隊軍紀嚴明，這天晚上，有的日本鬼子卻不顧軍紀，逃離台兒莊。
晚上，中國軍隊對日軍發動全線攻擊。日軍隊形混亂，東奔西逃。第2集團軍和第20軍團的官兵內外夾擊，越戰越勇。
為了徹底殲滅潰逃的日本鬼子，第89師第529團團長羅芳圭同副團長李有餘一起來到前沿陣地，仔細觀察敵情。他們這支部隊已經同日軍激戰多日了，現在要爭取最後的勝利。突然，一發炮彈落下來，在羅芳圭團長的身旁爆炸了。羅芳圭團長身一歪，倒下了，彈片擊中了他的頭部和胸部。
警衛人員見狀，大吃一驚，急忙過來搶救團長。
羅芳圭躺在一名戰士身上，微微睜開眼，當他看到周圍的人都為搶救他而忙碌時，想掙紮著坐起來。他用微弱的聲音說：“餘死無足惜，君等但須繼續前進……”
一位年輕的團長終因流血過多，在大會戰勝利的前夕，光榮犧牲了。
日軍被擊潰了。將士們聚集在羅團長身旁，把一束束鮮豔的桃花放在他的遺體旁。山坡上，那些盛開的桃花在微風中搖擺，仿佛在向英雄誌哀，向英雄告別。
至4月７日淩晨，被圍困的日軍瀨穀支隊除少數鬼子突圍到達嶧縣固守待援外，其餘全部被殲滅。
台兒莊戰役，以中國軍隊的全勝而落下了帷幕。
一場血戰結束了。第5戰區司令長官李宗仁在作戰廳長劉斐的陪同下，來到台兒莊陣地，進行巡視。看到戰場上中國軍隊官兵壯烈犧牲的動人情景，劉斐對李宗仁說：這場戰鬥打得這麼苦，國民政府應該大力宣傳，以振士氣。