關麟征軍在這一天也在激戰。張耀明師何世雄第一四六團從東麵向占領楊樓和底閣的阪本支隊猛烈攻擊。日軍據村寨頑抗，幾次組織反撲，何世雄團第一營營長曹雲劍在激戰中陣亡。打到下午2時左右，何世雄團攻占楊樓。當天下午，鄭洞國師又會同張耀明師攻占了底閣。日軍紛紛向底閣東南肖汪方向逃去。關麟征軍乘勝追擊，當晚又將阪本支隊包圍。
在此期間，鄭洞國師在北大窯方麵與日軍相持不下。湯恩伯親自到鄭洞國師視察，決定派張雪中的第八十九師接手鄭洞國師陣地，抽出鄭洞國師繞到日軍後方，迂回攻擊。他將困難的任務交給鄭洞國師，可是張雪中師接替陣地後不久就被衝垮，湯恩伯隻得又將鄭洞國師調回來穩定戰局。
4日深夜，台兒莊孫連仲集團軍的守軍已經傷亡殆盡，全莊四分之三的地盤又被日軍占據。孫連仲強烈地意識到，再孤軍死守，將全軍覆亡，於是，他與長官部參謀長徐祖詒和參謀處處長黎行恕通電話請示。李宗仁得到報告，接過電話，親自與孫連仲對話。孫連仲說：“第二集團軍已傷亡慘重。日軍火力太強，攻勢過猛，但是我們把敵人也消耗得差不多了。可否請長官答應暫時撤退到運河南岸，好讓第二集團軍留點種子，也是長官的大恩大德。”
李宗仁聽得出，孫連仲講這番話時，語調哀婉，他深知這位總司令的處境是何等艱難，又是何等悲壯！但李宗仁更清楚台兒莊目前的重要性。他估算湯恩伯軍團第二天中午可以趕到台兒莊北部，因此鼓勵孫連仲說：“敵、我在台兒莊已血戰一周，勝負之數決定於最後五分鍾。援軍明日中午可到，我本人也將於明晨來台兒莊督戰，你務必守至明天拂曉。”說完，李宗仁怕孫連仲情緒低下，影響士氣，又下令道：“我的命令如若違抗，當軍法從事。”
孫連仲以前雖和李宗仁隻有一麵之緣，但聽人說過，李宗仁在戰區司令長官中，屬於比較通情達理的一位，此時此刻他下這樣的命令，可見台兒莊對整個戰役至關重要，以及他對這次戰役充滿勝利的信心。於是，孫連仲態度堅決地表示：“我絕對服從命令，整個集團軍打完為止。長官有此決心，第二集團軍犧牲殆盡不足惜，連仲亦一死以報國家。”
孫連仲壯烈的言辭，使焦急萬分的李宗仁感到有些安慰，但他總有些不放心，於是又指示孫連仲：“今夜你還須向敵夜襲，以打破敵軍明晨拂曉攻擊的計劃，則湯軍團明日中午到達後，我們便可對敵人實行內外夾擊。”孫連仲聽了，回答說部隊已經打完了，夜襲很不容易。李宗仁聽了，立即說道：“我現在懸賞十萬元，你將後方凡可拿槍的士兵、擔架兵、炊事兵與前線士兵一起集合起來，組織一支敢死隊，實行夜襲。這十萬塊錢將來按人平分。”
孫連仲奉命後，親自到台兒莊督戰，將李宗仁的命令傳達後，一支幾百人的敢死隊很快成立起來。這時死守最後一點的池峰城向孫連仲請求撤退。孫連仲說：“士兵打完了，你就自己上前填進去，你填過了，我就來填進去。有敢退過河者，殺無赦！”
池峰城奉命後，知道軍令不可違，便以必死的決心，命令部隊逐屋抵抗，任憑日軍如何衝殺，也死守不退。如此戰到黃昏，日軍已經精疲力竭，停止了攻擊。
4月5日午夜，幾百名敢死隊員分組向日軍出襲，衝擊日軍陣地。他們個個精神異常振奮，衝進敵陣，人自為戰，手執大刀，見了日軍就上去砍殺，如有神助。日軍萬萬沒有想到，中國軍隊早已疲憊不堪，在最後五分鍾還能在夜間出擊。日軍已經血戰十幾天，精疲力竭，深夜正墜入夢鄉，聽到不知從哪裏來的槍聲，頓時亂作一團，一麵倉皇應戰，一麵後退。經數日血戰為日軍所占的台兒莊各街，竟在短短不到一小時內，一舉奪回四分之三。敢死隊通宵作戰，把日軍逼退到北門一隅。
這時，李宗仁不但得到孫連仲夜襲成功的喜訊，又得到湯恩伯部翌日天明前可以趕到台兒莊的消息，高興極了，他立即率領隨員，連夜親自趕到台兒莊郊外，準備親自指揮對磯穀師團的殲滅戰。
從4月4日到4月5日，關麟征軍的兩個師繼續圍攻日軍阪本支隊。在激戰中，雙方都有很大傷亡。日軍幾次向西北方向突圍，都被關麟征軍擊退。5日夜晚，阪本支隊受到關麟征軍兩個師優勢兵力的圍攻，已經難以招架。日軍瀨穀支隊從台兒莊方麵抽調兵力，向王仲廉軍發起反攻，也被擊退。王仲廉軍仍然在南洛和北洛附近與日軍激戰。經過幾天的激戰，關麟征軍的兩個師都已經接近台兒莊支線。
日軍遭受了明治維新以來最大的一次失敗。
4月6日，李宗仁趕到台兒莊附近，親自指揮全線總攻，圍殲磯穀師團。台兒莊北麵已經傳來中國軍隊的炮聲，說明湯恩伯軍團已在日軍後麵發起攻擊。中國軍隊全線出擊，殺聲震天。日軍已成強弩之末，彈藥汽油用完，機動車輛多數被擊毀，其餘也因缺乏汽油陷於癱瘓，日軍狼狽逃竄。
日軍瀨穀支隊力戰不支，炸掉不易搬動的物資，向嶧縣潰逃。中國軍隊驟獲全勝，士氣旺盛，乘勝追擊，日軍除瀨穀支隊殘部幾千人逃掉外，其餘全部被殲。一直防守的孫連仲部，聽說反擊，神情振發，命令一下，殺聲震天。李宗仁命令部隊猛追，如秋風掃落葉，日軍官兵遺屍遍野，各種輜重到處皆是，彈藥、馬匹失散無數，磯穀本人率殘部拚命突圍，竄到嶧縣，閉門死守，已無絲毫還手之力。中國守軍開始在台兒莊內肅清殘敵。
在棗莊，日軍的石油庫被中國地方遊擊隊炸毀著火，泥溝的日軍彈藥庫也發生爆炸。
在日軍瀨穀支隊向泥溝方向退卻的同時，關麟征軍在繼續圍攻肖汪附近的日軍阪本支隊。關麟征請王仲廉軍加緊向北洛和泥溝方麵的瀨穀支隊攻擊，阻擊他們向肖汪方麵前進。阪本支隊企圖向西麵突圍，與瀨穀支隊會合，被關麟征軍死死地擋了回去。
晚上11點左右，鄭洞國向關麟征報告：泥溝方麵的日軍，向台棗支線以東攻擊。在肖汪附近的日軍也向關麟征軍的陣地反撲。關麟征判斷，這說明日軍企圖乘夜實行總撤退。因為關麟征軍對日軍側背威脅很大，不打擊關麟征軍，日軍退卻不得安全。關麟征立刻下令，第一線部隊要堅持固守，並乘機反攻。同時，他命令炮兵向日軍占領的村落北麵道路不斷射擊。半夜後，果然發現阪本支隊沿台棗支線向嶧縣潰退。與此同時，王仲廉打來電話，說泥溝一帶的瀨穀支隊也乘夜沿台棗支線西側紛紛向北潰退。
這一天，張金照師奉命出擊。張金照帶領部隊輕裝出發，悄悄繞到了泥溝一帶。部隊到達目的地時，約在下半夜1點前後，立即向指定目標發動猛攻。日軍沒有防備，倉皇應戰。血戰到拂曉，日軍狼狽敗退。張金照師占領了泥溝一帶約十多公裏的陣地。這一帶日軍後方的聯絡線完全被張金照師切斷，台兒莊的日軍處於前後受敵的態勢。
第二天夜裏，日軍突然以猛烈的炮火到處轟擊，中國官兵以為拂曉時肯定會有一場惡戰，擔心是否能夠抵擋日軍的進攻。可是，天明以後，全線沉寂。日軍沒有任何行動。官兵們都感到奇怪。經過偵察，才發現日軍已經向嶧縣方麵撤退。
張金照將這一情況向孫連仲報告，孫連仲命令他立即率領部隊向日軍跟蹤追擊。張金照感到有些為難，因為這次偷襲雖然成功，但經過兩天兩夜的激戰，部隊傷亡很重，全部兵力隻剩下四千多人，如果再次出擊，不但很難完成任務，還有可能被日軍吃掉。但是，張金照又不得不執行命令，隻得一路追趕下去，伺機應變。
不久，根據偵察報告，得知日軍已在嶧縣東南地帶構築陣地，似乎要進行防守。張金照在部隊推進到獐山袁莊一帶時，立即下令構築陣地，監視日軍的行動。隨後，黃樵鬆師和池峰城師也開到了這一帶，新增加的張軫第一一零師也到達張金照師陣地的左翼，共同對敵。
6日傍晚，屈伸接到師部電話，說牛欣銓師附領著美國、蘇聯、英國、法國等友好國家戰地記者團十多人，由《大公報》特派員範長江、《新華日報》特派員陸詒陪同，到徐州前線采訪戰役情況。屈伸在車輻山接見記者團，由戰地服務團的北師大學生李建平擔任翻譯，概述了戰役開始以來的戰鬥經過，並請記者團在徐州停留三五天，看一看“皇軍百戰不敗”神話的破滅。然後，由範長江陪同代表團返回徐州。
屈伸從車輻山回到師指揮所，已是深夜11點左右。很快就聽到各路部隊傳來捷報：占領了園上村！占領了北門！占領了劉家湖！占領了三裏莊！池峰城立刻拍電報向孫連仲和李宗仁報捷。
在台兒莊戰役中，第二百師參戰的四個炮兵營，擁有比較新式的武器，又是機械化裝備，通訊設備比較完整，排、連、營都有無線電，各營無線電可以直接向杜聿明通報戰況。在杜聿明先後接到的戰報中，從3月23日到4月6日這段時間，炮兵共計先後擊毀日軍裝甲車和坦克三十多輛。杜聿明得到日軍潰退的捷報後，打算設法將這批戰利品運回第二百師。機械化兵監徐庭瑤指示他派人將這些車輛運回，然後運往湖南湘潭。杜聿明於4月中旬派人前往台兒莊，一共運回中小型坦克八輛，另有十五點五重炮兩門和履帶式牽引車四輛。這些戰利品運到湖南湘潭後，發現車和炮都隻剩下空架子。這是因為這些車和炮在戰場上被擊毀後，又被日軍在撤退時予以拆卸和破壞。
李宗仁在4月7日下令所有參戰的中國軍隊，抓住日軍潰退的戰機，全力反擊掃蕩。一時之間在魯南地區，中國軍隊是四麵合擊，日軍是拚命地奔逃。日軍死亡的人數超過一萬六千人，是日本新軍自明治維新以來，在戰場上最大的一場敗仗。
但是，日軍還在做最後的掙紮。4月7日這一天，中國軍隊得到報告：退守嶧縣一帶的日軍，獲得從向城南下的日軍的增援，大有蠢蠢欲動之勢。
這一天，徐州的文化人、報人以及各國記者，都隨戰區長官部和集團軍總部一些負責人到前線視察。屈伸和範長江、臧克家等人一起在日軍的坦克殘骸上照相留影。
4月8日拂曉，關麟征軍跟蹤日軍，向嶧縣附近台棗支線以東追擊。到達該地區時，日軍已在嶧縣東側的九頂山占領陣地。這時候，王仲廉軍也推進到嶧縣東南地區。孫連仲集團軍也有部分部隊沿台棗支線以西向北推進。隨後，關麟征軍奉湯恩伯的命令，由張耀明師派一個團監視日軍，主力推進到九頂山以東及東北地區，準備會同王仲廉軍向嶧縣及其以東九頂山的日軍發起攻擊。
幾乎與此同時，日軍糾集部分兵力，向孫連仲集團軍猛撲，台兒莊陣地幾乎全部丟失。當孫連仲集團軍正麵吃緊時，忽然在湯恩伯軍團方麵的日軍兩千多人，威脅池峰城師的右側背，大運河幾乎不能確保。孫連仲集團軍的電台與湯恩伯軍團的聯係也中斷了。幸好，張金照師和吳鵬舉獨立旅渡河增援，向日軍進行反擊，中國軍隊才穩住了陣腳。這時候，如果湯恩伯軍團能派一支強有力的部隊固守向城以東和郯城以西山地的要隘，而以主力配合作戰，則嶧縣附近的日軍已成甕中之鱉，中國軍隊不難一鼓將其殲滅。
台兒莊一仗，中國投入兵力二十多個師計十二萬人，其中台兒莊方麵六萬人；日軍投入兩個師團八個聯隊約三萬人，其中台兒莊方向七個聯隊。中國軍隊擊敗日軍第五師團和第十師團兩支精銳部隊，以損失近兩萬人為代價，取得殲滅日軍一萬多人的戰果。日軍損失火炮七十多門、坦克四十多輛、輕重機槍九百三十一挺、步槍一萬多支。中國軍隊還繳獲了大量其他軍用物資。李宗仁的高參餘定華來到戰場，看見了幾名被俘的日軍下士，躺在擔架上，用手勢頻頻招呼要香煙抽，當了俘虜還不甘心，一個個橫眉怒目，充滿敵對情緒。
台兒莊戰役是抗戰初期繼平型關大捷後中國取得的又一次重大勝利，也是抗戰以來國民黨正麵戰場取得的重大勝利。
當時中國軍隊以十個師之眾對日軍一個半師團，兵力占絕對優勢。但湯恩伯態度消極，雖處在日軍側麵的有利態勢，也沒有積極抓住戰機把日軍徹底包圍殲滅。然而打退了日軍，總算是空前的一次大勝利。
台兒莊捷報傳開，全國各界、海外華僑一片歡騰。廣州、武漢等大城市，都有幾十萬人舉行規模空前的盛大集會和遊行，歡慶勝利。
武漢三鎮。當地軍民不分男女老幼，都沉浸在節日般的興奮中，到處是歡呼雀躍的人群。
大街小巷，家家戶戶門前掛起青天白日國旗，連成一片，以示愛國。
街道上到處是橫的豎的大幅標語：“慶祝台兒莊大捷”、“中國必勝”。
鞭炮聲把全城都吵翻了天。
報館的人用汽車裝了大捆大捆的號外，在街上鋪天蓋地地撒。
五花八門的救亡團體競相湧上街頭，遊行，喊口號，唱歌，即興演講，表演戲曲，盡情地醜化侵略軍。
人們把台兒莊大捷的指揮官李宗仁、白崇禧等人的臉，畫在一張張三塊門板那樣大的畫板上，抬著走在遊行隊伍前麵。
國民政府軍事委員會政治部在這些活動中大顯身手。他們發動和組織了各種慶祝活動，用以激發人民的抗日愛國熱情。政治部副部長周恩來、第三廳廳長郭沫若等共產黨員和民主人士，也走上街頭，慷慨激昂地發表演講，號召人們團結禦侮。
在陝北延安，毛澤東以慶賀勝利的喜悅心情，發表演講：“國共兩黨兄弟和軍隊，每個月打得一個較大的勝仗，如像平型關、台兒莊一類的，就能大大地打擊敵人的精神，振起中國軍隊的士氣，號召世界的聲援。”
台兒莊大捷之後，中國軍隊有攻有防，繼續與日軍周旋。
中國軍隊在台兒莊獲得大捷之後，徐州會戰仍在繼續。
自從日軍在棗莊的汽油庫被焚以後，日本空軍襲擾台兒莊的架次顯著減少。到了13日，在台兒莊陣地上空，日軍飛機的活動忽然頻繁起來。而湯恩伯軍團在郯城以西、向城以東的霸王山和禹王山一帶，與日軍互相延翼包圍，已成膠著狀態，日軍可以抽調大量兵力彙集到台兒莊正麵，企圖以中央突破的戰法，一舉攻陷台兒莊。
這一天，何章海忽然接到張自忠發來的電報，說他的第五十九軍與南侵的日軍在拚戰中，戰況十分激烈，大有不支之勢。何章海將這種情況報告孫連仲，孫連仲睜大眼睛說：“我們軍隊跟磯穀師團晝夜相拚，官兵傷亡這樣慘重，如果真的如同藎臣所說，東北方的板垣師團再下來，我們怎麼辦？”
何章海說：“湯恩伯在抗戰開始以來經常向我們說，第二集團軍與他的第二十軍團是親密的兄弟軍，彼此要不失時機地互相照應。我們是履行了諾言，經常照應他，我想湯恩伯軍團一定會支援我們的。隻是現在我們兩家的電台聯係不上，是十分危險的。我已嚴令傅印圖台長，叫他用盡辦法和湯恩伯軍團取得聯係。”
4月14日晚，局勢萬分嚴重，從臨城下來的日軍精銳部隊向台兒莊猛攻，城裏城外都發生激戰。池峰城給何章海打電話，用低沉的聲調說：“我們的部隊傷亡實在太大了！我要撤退，我一定要撤退！”這時，總司令部既沒有控製部隊，又沒有援軍到來的希望，事態十分嚴重。何章海當即跑到總司令室，看見孫連仲正愁眉苦臉地躺在床上，連忙向他報告了池峰城在電話裏說過的話。孫連仲翻身下床，把眼睛睜得大大的，說：“什麼！他要撤退？”
孫連仲大踏步地走進參謀辦公室，嘴裏念叨著：“真是，真是……這家式，他敢？他敢？”他拿起電話對池峰城說：“我告訴你，台兒莊關係戰局十分重大，你馬上率領你師部人員進城去增援，我也馬上帶領總部的人員跟著上去。我決心不撤退，決不撤退！”
到了黃昏時分，總司令部的人員正在忙於準備投入戰鬥，池峰城打來電話，用很得意的語氣對何章海說：“你報告總司令，敵人被我們打退了，原來的陣地都完全恢複了。我們正乘勝追擊。”於是，台兒莊戰局轉危為安。
後來，根據諜報，連日在青島登陸的日軍已超過兩個師團，正在迅速南進。在這同時，津浦線南段的日軍也對孫連仲集團軍徉作進攻姿態。日軍的另一支部隊也在連雲港擺出登陸的架勢，威脅孫連仲集團軍。孫連仲一邊命令前線各部加強戰地的整補，一麵增派執法部隊到第一線督戰，不許任何部隊後退一步。另外，第一戰區司令長官程潛也向孫連仲發來電報，表示勉慰，並表示願竭盡一切力量支援第一線，還說已經抽調精銳部隊增援，很快就會到達台兒莊。
日軍在對台兒莊正麵進攻的同時，也向中國軍隊的台兒莊右翼陣地發起進攻。在右翼防守的是滇軍盧漢第六十軍，包括安恩溥的第一八二師、高蔭槐的第一八三師和張衝的第一八四師。盧漢和三位師長都是雲南人，同是雲南陸軍講武堂的畢業生。這支部隊講紀律，講服從，作戰英勇，官兵們不但輕傷不下火線，就是負了重傷，也不準離開陣地。
此外，這個軍裝備很好，武器多半是從越南進口的法國武器，但以前未曾使用，直到台兒莊戰役打響，才開箱取出這些武器。
日軍板垣師團的第三十九聯隊和第四十聯隊從台兒莊右翼的陳瓦房一線向禹王山一帶發起進攻。日軍進攻前，先用飛機偵察轟炸，再用大炮轟擊。李宗仁高參餘定華，正在這時被派到盧漢軍，親眼看到日軍用五門大炮試射，彈著時呈五點白煙，然後向前後左右延伸，估計有一千多發炮彈落地，炸得禹王山變成了一片硝煙火海，連山的影子都看不見了。餘定華想起了白崇禧說過的一句話：“這是打洋仗。”他又想起有人說日本人用的是“紅牆戰術”和“焦土外交”，覺得一點都不假。
守衛禹王山的是張衝第一八四師的王秉璋旅，他們麵對日軍瘋狂的進攻，堅決地阻擊抵抗，與日軍反複地爭奪陣地，幾得幾失。王秉璋身先士卒，率部與日軍苦戰，打退日軍的進攻，收複陣地以後，才肯下火線。王秉璋在戰鬥中胸部中彈，餘定華代表李宗仁慰問他，他還鎮定地說：“慚愧啊，我對不起國家。”
日軍進攻禹王山的第二天，蔣介石一連打來兩次電報，對部隊表示嘉勉。餘定華、盧漢和胡若愚等人一起傳閱蔣介石的電報，盧漢見最高統帥在電文中和他稱兄道弟，心裏非常高興。接著，李宗仁也給盧漢發來了急電。