3月14日至19日的臨沂大捷後，張自忠的第59軍除留一個旅的兵力協助龐炳勳守衛臨沂外，剩餘主力全部轉向費縣，準備襲擊第10師團的後方。但阪垣師團再度增兵南下，使臨沂形勢又趨危急。3月25日，張自忠率部重返臨沂，向日軍發起反擊，戰鬥十分激烈。3月27日，日軍移動到臨沂西北方向向張自忠部猛攻，張部一麵抵抗，一麵緩緩向臨沂後退。等待援軍的到來。3月30日，由蘇北海州北上增援的東北軍第111師第333旅開到臨沂附近，使臨沂形勢得到穩定。日軍因對臨沂久攻不下，而台兒莊又陷於苦戰，所以隻好轉移進攻方向，命令在臨沂的阪垣支隊停止進攻臨沂，主力星夜南下，向台兒莊前進，企圖夾擊台兒莊附近的中國軍隊，以扭轉戰局。
在台兒莊戰事吃緊時，第五戰區司令長官李宗仁曾三令五申讓湯恩伯南下對日軍實施夾擊，但湯恩伯消極怠戰，留在山區不願按指定的方向前進。至3月29日，李宗仁再次嚴令湯恩伯迅速南進，側擊磯穀支隊，並明確訓誡說：“如再不聽軍令，致誤戰機，當照韓複榘的前例嚴辦”。蔣介石也親自致電湯恩伯：“嚴令所屬作最大努力，為戰略上適切之協同，促成絕對勝利，以利全局。”在如此重壓之下，湯恩伯才不得不指揮部隊南下，到台兒莊的東北方向夾擊日軍磯穀支隊。
3月29日，日軍第二軍令阪垣支隊前往救援磯穀支隊，阪垣支隊將兩個步兵大隊留在臨沂，其主力步兵四個大隊及炮兵兩個大隊於當日夜晚開拔，3月31日到達向城、愛曲附近，襲擊第52軍側背。湯恩伯遂調第85軍主力在愛曲、作字溝一帶阻擊日軍。4月1日，日軍阪垣支隊占領蘭陵鎮，湯恩伯便順勢讓開大路，放阪垣支隊順利進入台兒莊以東地區，而後以第52軍在南，第85軍在北並列向磯穀、阪垣支隊背後攻擊。恰在這時，第75軍的先頭部隊也已開到，在台兒莊的外線參與對日軍的包圍。
4月1日前後，戰役的局勢開始比較明朗，日軍阪垣支隊和磯穀支隊雖然在台兒莊緊緊包圍著第31師，但在外線，在西、南、東南、東北的幾個方向上卻又受著第20軍團、第二集團軍的反包圍。同時，山東第三集團軍的部分主力也已東跨大運河，在津浦路和沂蒙山區襲擊日軍的後方補給線，日軍開始陷入被動的境地。同一天，守城部隊司令池峰城以死守台兒莊的決心召開軍事會議，表示決定堅守城寨和既得的陣地，並命令軍隊對日軍廣泛開展小部隊夜襲。日軍也將西北角的兵力撤出，調到城東，攻入東南部地區。
4月2日，日軍與第27師的陣地的場麵空前慘烈。中國軍隊有進無退，表現出了視死如歸的戰鬥精神。據日軍《步兵第10聯隊戰鬥詳報》記載：“研究敵第27師第80旅自昨日以來之戰鬥精神，其決心勇戰氣概，無愧於蔣介石的極大信任。憑借散兵壕，全部守軍頑強抵抗直到最後。宜哉，以致於狹窄的散兵壕內，重疊相枕，力戰而死之狀，雖為敵人，睹其壯烈，將為之感歎。曾使翻譯勸其投降，應者絕無，屍山血海，非獨日軍所特有”。
4月3日，阪垣支隊與磯穀支隊會合後，在台兒莊東南的火石埠向肖汪方麵軍攻擊，守衛肖汪的第75軍，第139師和新開到的第6師與敵展開激烈的戰鬥，但持續作戰的日軍已經喪失了原有的銳氣。4月4日，台兒莊城內的日軍又發動了第八次總攻，也是最後的一次攻擊。中午時分，日軍猛烈轟擊守軍陣地，並且使用了燃燒彈，城內的斷垣殘壁又燃起大火，為中國軍隊造成很大困難。火勢稍小時，日軍便從東南角、北門和西北角發起攻擊。為頂住瘋狂的反撲，城內各部分守軍利用有利地形和房屋修築的工事與敵軍周旋，入夜後各敢死隊又紛紛出擊，有力的打擊和襲擾日軍，並攻占製高點大廟。日軍的陣地逐一被攻克，在城內外的夾擊之下，餘下的部隊也隻有招架之功，沒有還手之力了。
至此，城內日軍的攻勢減弱，城外對日軍的大包圍態勢已經形成。日軍已經陷入中國軍隊的重重包圍之中。
4月4日前後，湯恩伯在第五戰區的連續電令下，開始以較多的兵力投入攻擊日軍側背作戰。這時在戰場東北部的曹福林第55軍開始向台兒莊移動，李仙洲第92軍，周磊第75軍已逐次投入台兒莊以東前線，對日軍的包圍圈正在逐漸縮小。
4月5日，第一戰區司令長官程潛到徐州參與台兒莊督戰，並下令要求4月6日至4月8日限期圍殲台兒莊以北日軍。4月5日，蔣介石給湯恩伯發電責問，為何“以十師之眾對師半之敵焉然不能取勝？”前線各部隊開始加緊對日軍的攻擊。此時，肖汪附近的日軍阪垣支隊雖與磯穀支隊會合，但在北、東、南三麵受到第20軍團第75軍的猛烈攻擊，加之與第5師團的後方補給線被切斷，處境十分困難。阪垣支隊損失慘重，並且隻能從磯穀支隊得到部分的糧食和彈藥，第5師團命令阪垣回撤臨沂。磯穀支隊得知阪垣準備回撤後，也向第10師團要求後撤，但未獲得批準。在這種情況下，磯穀支隊攻城不下，進退兩難，損失慘重，不得不燒毀大批物資，槍殺軍馬，丟棄了大量的武器和裝備向北撤退。4月6日夜，磯穀支隊撤至北洛一線。隨後，阪垣支隊與磯穀支隊的聯絡中斷，陷入孤立無援的境地，被迫於4月7日連夜向北撤退。
4月6日，第20軍團以及台兒莊正麵第二集團軍的部隊已經發現日軍準備撤退的跡象，並且先後都組織了追擊。第20軍團的第52軍、第85軍和第75軍先後追擊到甘露寺、紅瓦屋屯一帶。左翼第13軍第110師開始向嶧縣南麵的獐山一線攻擊。台兒莊內的第31師發現了日軍撤退後也奮起追擊，在將城內殘餘的日軍殲滅後占領了各個城門和城外的園上村。台兒莊左右翼的第30師和第27師先後追擊到泥溝附近，繳獲許多戰車和物資。此時，原在魯西的曹福林第55軍渡過微山湖和大運河後已到達臨城、棗莊以北地區。日軍在後路被斷的情況下，慌忙竄入嶧縣附近的獐山、九山及稅郭等堅固圍寨死守待援。至4月7日淩晨，台兒莊會戰已取得決定性的勝利。