早餐時，湯恩伯對姚國俊和覃異之說，他打算以一部兵力攻擊南下日軍的側背，支援孫連仲集團軍作戰，主力暫控製在抱犢崮以南山區，相機攻擊郭裏集附近的日軍。
姚國俊和覃異之向湯恩伯建議：先集中兩軍主力殲滅郭裏集和嶧縣附近的日軍。湯恩伯對此不置可否。他說：“等我同關軍長商量後，再決定具體計劃。”
姚國俊和覃異之回到軍部，向關麟征報告了湯恩伯的意見。他們表示不同意湯恩伯的想法。關麟征又向湯恩伯陳述了以全力攻擊日軍側背的意見，不同意以部分兵力參加作戰。接著，李宗仁又來電命令湯恩伯以全力攻擊台棗支線日軍側背，湯恩伯才決定先讓關麟征軍南下，進出台兒莊東北地區，向台棗支線的日軍側背攻擊。王仲廉軍暫集結在抱犢崮以南山區，準備對付郭裏集附近的日軍。
關麟征軍根據湯恩伯的命令，於3月27日晚上南下，在蘭陵鎮附近集結。28日開始向台兒莊附近的日軍側背攻擊。
這一天早晨，關麟征軍的部隊先占領泥溝東北的紅瓦屋屯。關麟征命令鄭洞國師向北洛和北大窯方麵攻擊，張耀明師的覃異之旅接鄭洞國師向南洛和北洛之間攻擊前進。張耀明師第七十五旅控製於紅瓦屋附近作軍的機動部隊。軍部位於紅瓦屋附近一個小高地旁的農舍內。野炮兵營在紅瓦屋東側放列，以火力掩護兩師攻擊前進。當天下午，趕走了紅瓦屋西南方麵日軍的警戒部隊。
直到這時候，湯恩伯仍沒有投入全部兵力南下作戰，置李宗仁的命令於不顧，一再尋找借口，將王仲廉軍留於山區。他命令關麟征軍南下策應孫連仲軍，以機動的態勢，可打可走。
李宗仁見湯恩伯軍團遲遲不來，於28日晚10時給湯恩伯發去電令：“台兒莊方麵孫集團陷於膠著狀態，敵我均在困難中，貴軍應為有力之援助，迅速南下夾擊之。”
接到李宗仁電報，湯恩伯還在遲疑不決。
29日拂曉，關麟征軍向占領南洛、北洛和北大窯的日軍攻擊。
當天深夜，李宗仁再次給湯恩伯發來電令。但湯恩伯軍團這時的行動仍然遲緩，關麟征軍鄭洞國師的偵察小隊雖於29日下午曾抵達台兒莊以北十多公裏處的張樓一帶探察敵情，但其主力此時卻在台兒莊以北三十公裏以外地區。
30日早晨，關麟征軍才抵達台兒莊東北約二十五公裏處的蘭陵鎮，隨後向西南方推進。但直到30日下午，孫連仲仍然未能與關麟征軍取得聯絡。
這天下午，鄭洞國師攻占了北大窯，會同張耀明師覃異之旅攻擊占領北洛的日軍，戰鬥頗為激烈。
李宗仁對湯恩伯軍團的避戰行為十分不滿，將湯恩伯避戰的情況電呈蔣介石知曉，同時於30日晚8時再次電令湯恩伯：“著貴軍團長以一部監視嶧縣，親率主力前進，協同孫軍肅清台兒莊方麵之敵。限時(31)日拂曉前到達，勿得延誤為要。”
湯恩伯接到這份電令後，知軍令不可再違，才開始督促所部加緊進攻，他本人也於當晚前往洪山鎮、蘭陵鎮指揮。
關麟征軍接令後，其主力於31日拂曉前，從距台兒莊以北十幾公裏處的甘露寺，向日軍側麵壓過來。在中國軍隊優勢兵力的猛攻下，日軍節節敗退。這天上午，日軍從北麵和南洛方麵向北洛方麵增援，與鄭洞國師發生激戰。戰到下午3點，中國軍隊先後攻克馬莊、大莊、張樓、賈家埠、小集、蘭成店、三佛樓等地，收複村莊十餘座，將戰線向前推進四公裏。
與此同時，湯恩伯率王仲廉軍到達台兒莊東北的河南頭楊家廟一帶。至此，台兒莊一線防禦的壓力暫時得到緩和。
這一天，台兒莊及其附近的日軍已被孫連仲集團軍和湯恩伯軍團關麟征軍完全包圍。正當中、日兩軍在台兒莊進行陣地爭奪的殊死戰鬥時，在台兒莊北部外圍的戰線上，日軍阪本支隊對關麟征軍側背形成威脅。受困的日軍在得到支持之後，立刻發動逆襲，台兒莊各處陣地都遭到日軍強烈的反攻，孫連仲部又陷入苦戰之中。
關麟征軍粉碎了日軍板垣師團與磯穀師團會合的企圖。
由於戰鬥一天比一天激烈，在31日夜間，池峰城在電話裏向何章海發牢騷：“你的作戰計劃把我收拾得夠受了！你不應該總是要我打頭陣。我的部隊傷亡太大了，槍械彈藥也消耗太多了。你不為我保存實力，太對不起朋友了！”
其實，何章海內心裏在一切問題上總是偏向於池峰城，聽到這番話，不禁感到氣憤，便說：“你說什麼？好啦，好啦。有人要求守核心據點，還托人向我說情。你反而想下來，好得很。我向總司令報告，把你換下來吧。”
池峰城聽了這話，連忙說道：“我剛才說的話，請你不要向總司令報告，也不要向別人說，以免惹起口舌是非。”
此後，台兒莊城寨裏的拉鋸戰，一天比一天激烈，三個師一個旅的部隊，還有兩個新兵補充團，就是這樣一個團或者一個營地輪番填了進去。有時日軍把守軍逼到城寨裏的一個角落，有時守軍又把日軍趕到城寨裏的一個角落。日軍利用他們的強大火力，在白天進攻，而守軍則利用夜戰，常常在拂曉前收複失去的陣地。在清掃戰場的時候，經常發現屍體累累，慘不忍睹。
當時的戰局，的確十分危險。守軍越來越感到招架不住。有一天黃昏，孫連仲給張金照打電話：“台兒莊戰事非常混亂，萬分危急，台兒莊隻剩下一個西門了！趕快叫你那個吳明林團，輕裝快跑，即刻開到台兒莊，從西門進城，部隊歸池師長指揮。”
張金照接到電話，心裏有些緊張，但他仍故作鎮定，說：“請總司令放心，我馬上叫吳團出發。”他放下電話，馬上給吳明林下令：以營為單位，急跑步前進，限一小時內增援上去。
吳明林團奉命於當夜跑步進城增援。該團準時到達指定地點，頂住了日軍的進攻。接著，周喦軍也增援上來，戰局轉危為安。第二天清晨，吳明林團隻剩下十幾名官兵退出城來。吳明林帶著全身泥土和滿臉灰塵，來到總司令部報告作戰經過。孫連仲安慰嘉獎他，並命令他回後方整補。
4月1日夜晚，總司令部命令黃樵鬆親自率領二十個組的敢死隊實行突擊。他們攜帶空煤油桶，裏麵裝上鞭炮，冒充機槍使用。另外，他們還攜帶了燃燒物質，到處放火，驅逐日軍。
總司令部又派獨立第四十四旅旅長吳鵬舉率領一個團，從張金照師的防地進出，襲擊棗莊的日軍指揮部，以配合黃樵鬆師的行動。午夜前後，台兒莊外四麵起火，人喊馬嘶，再加上老百姓協同作戰，日軍慌了手腳，紛紛敗退。就這樣，中國軍隊終於恢複了原來的陣地。黃樵鬆師與吳鵬舉旅各有傷亡，仍歸還原建製。
還有一次，總司令部命令一些官兵穿上呢子軍裝，戴上日軍的帽子，找了幾個會講日語的人隨同，趁夜出發，偽裝日軍，偷偷摸進日軍的陣地。這支部隊乘日軍不備，用大刀片和手榴彈與日軍搏鬥，在混戰之中取得勝利。部隊還用十二枚一束的集束手榴彈炸毀日軍的坦克多輛。日軍最害怕夜戰，中國軍隊的夜襲，總是給日軍以重創，才能夠確保陣地。
這時候，棗莊有一支礦工和學生組成的抗日義勇軍，是一支擁有一千多人的遊擊隊。他們熟悉地形，經常夜襲日軍的後方，使日軍的進攻受到極大的牽製。一天，日軍在棗莊的汽油庫突然著火燃燒，烈焰騰空，很遠的地方都可以看到。日軍汽油庫被焚，有人說就是遊擊隊投擲手榴彈所引起的。日軍因汽油庫被焚，空軍的活動已不像前幾天那樣猖狂了。
從3月29日到4月1日，中國軍隊屢次強渡運河打擊日軍，展開延翼包圍，斃傷許多日軍。
在台兒莊戰役中，全國各地和各界給孫連仲集團軍的慰勞函電雪片一樣飛來，還給他們捐贈了鞋襪和毛巾等用品。漢口有一家鐵工廠，單獨捐獻大刀五千把。以張治中和周恩來為首的軍事委員會政治部，派鬱達夫委員等人到孫連仲集團軍總司令部慰問。作家謝冰心女士、詩人臧克家、英國駐華大使館軍事參讚，也到台兒莊參觀。遠在甘肅的學商各界，也推舉代表康天衢和閻重義等三人，攜帶慰勞品，到戰地慰勞孫連仲的部隊。常駐第二集團軍總司令部采訪的新聞記者，有新華社記者陸詒，中央社記者李凱生，蘇聯塔斯社記者穀禮賓斯基，翻譯張鬱廉女士，美國合眾社記者白爾登等。
孫連仲集團軍苦苦支撐，直到4月1日，湯恩伯軍團才開始全線出擊。這一天，關麟征軍與王仲廉軍向台兒莊東北麵至台棗支線南洛和北洛的日軍發動全麵進攻。控製在關麟征軍軍部附近的第七十五旅，除留一個步兵營在軍部外，也參加到第一線，向南洛附近攻擊前進。湯恩伯和關麟征都在紅瓦屋附近的小高地上指揮作戰。激戰到下午1點左右，湯恩伯軍團已經攻占南洛和北洛，截斷了台兒莊以北的台棗支線，對進犯台兒莊的日軍側背猛烈攻擊，形成包圍態勢，並以一部向台棗支線的泥溝方麵攻擊前進。
日軍瀨穀支隊幾次從台兒莊西麵抽調第一線部隊向湯恩伯軍團反撲，都被擊退。下午2點左右，正當湯恩伯軍團全力向台兒莊東北和台棗支線附近的日軍包圍攻擊時，關麟征軍的軍部在向城附近的便衣隊，派人騎自行車急匆匆地來到軍部，報告一個緊急情況：從臨沂方麵開來了四千多名日軍，是步兵、騎兵和炮兵的聯合部隊，向通蘭陵鎮的大道南進，其先頭部隊快要到達向城附近。
當時，湯恩伯正在關麟征軍軍部指揮所，他對關麟征說：“關軍長，你軍是不是迅速轉移，以免被日軍包圍？”關麟征說：“白天在敵前轉移部隊，容易暴露目標，在敵機轟炸之下，有崩潰的危險。我們應該堅決地阻擊這股敵人。”湯恩伯想了想，同意關麟征的主張。他決定前往王仲廉軍指揮所，臨走時對關麟征說：“你在這方麵招呼，我去八十五軍軍部，我回去即派第四師上來增援你們。”說完，他和他的參謀長萬建藩急匆匆地離開了。
湯恩伯走後，關麟征連忙采取下麵的對策：第一，命令軍部附近的徐文亮步兵營和軍直屬騎兵連，即刻跑步向蘭陵鎮方麵前進，務須以廣正麵攻擊行動，誘使日軍過早展開，盡力遲滯日軍前進，爭取時間，以便軍部從第一線抽調兵力迎擊這股日軍。第二，同時命令張耀明師張漢初旅迅速撤離第一線，跑步開到軍部附近，接受命令，迅速向蘭陵鎮方麵前進，迎擊來犯的日軍。
徐文亮接受命令後，便帶領他的那個營和騎兵連向蘭陵鎮方向跑步前進，到達蘭陵鎮附近，與日軍先頭部隊遭遇，立即向日軍發動猛烈攻擊。日軍果然展開隊形，向徐文亮營開炮。
張漢初旅剛投入戰鬥，接到命令後，匆匆撤下來，以營為單位向軍指揮所跑步前進。一個小時後，張漢初旅已經趕到蘭陵鎮附近，向日軍發動攻擊。同時，軍部又命令張耀明率領戴安瀾旅開到蘭陵鎮參加戰鬥。黃昏前，戴安瀾旅已經投入戰鬥。
這時候，關麟征軍的軍部指揮所推進到了離蘭陵鎮不遠的洪山鎮附近的一個小高地指揮作戰。當時日軍的炮火已經射到了洪山鎮附近，戰鬥十分激烈。黃昏時，王仲廉軍的第四師師長陳大慶來到關麟征軍的指揮所，說湯恩伯叫他們師來參加這方麵的作戰，現在石覺旅已經到達洪山鎮。關麟征表示，這方麵不需要再增加兵力。他給湯恩伯打電話，請他命令王仲廉軍以全力攻擊台棗支線方麵的日軍，支援孫連仲集團軍作戰。
向關麟征軍側背進攻的日軍，與戴安瀾旅激戰到黃昏以後，被壓迫到蘭陵鎮以北地區。入夜之後，日軍繞過蘭陵鎮西北，向楊樓和底閣方麵逃竄，企圖與台兒莊方麵的日軍瀨穀支隊會合。這股日軍的掩護部隊，是一個加強中隊，約有兩百名步兵和騎兵，被戴安瀾旅包圍在蘭陵鎮西北的傅莊內。關麟征命令張耀明師除留一個團圍攻傅莊外，主力向楊樓和底閣方麵追擊，會同鄭洞國師圍攻這股日軍。
困守傅莊的日軍步騎兵，在韓梅村第一四五團的圍攻之下，利用傅莊土圍牆頑抗，不肯投降，幾次強行突圍，都被堵了回去。韓梅村團在河北保定及河南漳河兩次戰鬥中傷亡嚴重，剩餘老兵撥給其他團補充兵員，在洛陽接受了兩千三百名新兵，雖然經過了三個月嚴格的訓練，但很需要實戰鍛煉。因此，關麟征給這個團調了一個山炮連，命令他們殲滅傅莊的日軍。
傅莊居民近五十戶，村外四周是麥田，地形開闊。韓梅村命令第一營立即占領傅莊西北麵的兩個小村莊，向傅莊構成火網，防止日軍向西逃竄；命令第二營向傅莊東南疏散前進，逼近傅莊；命令山炮、迫擊炮和蘇羅通小炮位於傅莊南麵約七百米的兩個小村，其餘部隊隨團部位於炮兵陣地稍後的小村，團指揮所在炮兵陣地。
4月2日上午七點左右，各營架通了電話。炮兵開始向傅莊射擊。由於傅莊有部分茅屋，在炮擊後成了火海，不過老百姓早已逃走了。中午前後，第二營的一個連，已衝進了傅莊東北角的房屋。該連報告，日軍在傅莊外沿房屋牆壁上有槍眼，牆腳下挖洞，上蓋門板，門板上蓋土，日本兵在洞裏，因而中國軍隊接近時有不少傷亡。戰鬥到黃昏，有四十幾名日軍向村西衝去，全被第一營消滅。
這時，韓梅村率領第三營增援第二營，同時命令第一營派出一個連突進村內。夜晚8點左右，第二營和第三營全部進村，戰鬥結束。韓梅村團俘虜日軍五十名，內有傷兵三十多名，其餘日軍全部被擊斃。在清掃戰場時，還有少數日軍躲在牆腳洞裏不肯出來，頑強抵抗，都被擊斃。日軍練兵，每個班都帶著寫有“武運長久”的小白旗，每人隨身帶有小刀，自殺的也有。從俘虜的口供和繳獲的文件得知，這股日軍是第五師團以片野聯隊為基幹的步騎炮聯合的阪本支隊，共有四個步兵大隊，兩個野炮大隊，一個騎兵隊。他們的任務是火速救援第十師團的瀨穀支隊，掩護該師團主力南逃。
在這次戰鬥中，韓梅村團有兩名排長陣亡，三名排長負傷，士兵傷亡八十多人。而日軍則死傷、被俘一百八十多人。這種戰果，大大鼓舞了韓梅村團這支新兵部隊的士氣。
孫連仲說：“有誰敢退過運河，殺無赦！”
4月2日，第五戰區司令長官部給各參戰軍團下達任務：
一、第二十軍團（含第七十五軍）以一部消滅洪山鎮北方之敵，以主力於3日保持東南正麵，向台兒莊附近之左側背攻擊，逐次向左迂回，務在台兒莊左側地區，將敵捕捉殲滅之。
因戰況進展，須隨時遮斷敵自嶧縣之退路，並對向城方向增援之敵嚴密警戒。
二、第二集團軍右翼與第二十軍團聯係，於3日全線攻擊，消滅台兒莊之敵；第一一零師準備以一旅由萬裏閘附近渡河，向北洛附近敵之右側進攻。
三、第三集團軍前敵總司令曹福林指揮張測民支隊五個團及遊擊總指揮李明揚所部為堵擊兵團，迅速南下向棗莊、臨城合圍。
這一天上午，張耀明師已經將日軍阪本支隊大部分包圍在楊樓和底閣附近。日軍占領村落家屋和碉樓作頑強抵抗。與此同時，關麟征已命令鄭洞國師從北大窯和北洛方麵轉移到楊樓和底閣以西，協同張耀明師圍攻阪本支隊。
4月3日，蔣介石命令第五戰區全體參戰部隊，限於4月10日前擊退台兒莊當麵的日軍。首先擊退日軍部隊者，賞大洋十萬元，出力將士從優敘獎，如限期內仍不能擊退該敵，師長以上各級指揮官一律以軍法從事。
同一天，李宗仁重申這個命令。他在電報中說：
委座嚴令諒已奉悉，本長官亦對首先立功部隊加賞十萬元，望各努力，勿幹法紀。
同時，他下達了總攻擊令。
第一戰區司令長官程潛，也給前線拍來電報：
會戰參加部隊，多屬本戰區序列部隊，望各服從李長官如服從本長官一樣，凜於國軍一體，休戚相關之精神，望鼓勵所屬奮發圖強，為國立功，本長官亦刻日前往徐州，協助德公指揮，委座及李長官懸賞首先擊退該敵之部隊，獎洋十萬元，本長官亦加賞十萬元。
李宗仁的命令下達後，關麟征軍、王仲廉軍、周喦軍在台兒莊附近向日軍展開猛烈攻勢。日軍拚力爭奪，占領市街大部。總攻開始以後，日軍頑強抵抗。
孫連仲接到命令後，派田鎮南到池峰城師指揮所，了解第一線的情況。他力主增加炮兵力量，為步兵開拓出擊道路。
台兒莊守軍池峰城師的四個團已經傷亡過半，由張金照師調入城內的兩個團接替了部隊陣地，傷亡也很嚴重。到這一天為止，台兒莊城西北門、北門、東門、東南門都已陷入日軍手中，全城一半的麵積已被日軍占領。守軍仍據守南關一隅，拚死堅守，並組成大刀隊夜襲日軍，給日軍以很大殺傷。日軍連續發動了七八次總攻，並且使用燃燒彈，妄圖摧毀城內所有房屋和軍民，將台兒莊夷為平地。城內各守備隊利用地形和斷牆殘壁，築起第三道陣地工事，挨街逐巷與日軍周旋搏鬥，並組織起兩百多人的奮勇隊，偷襲日軍據點，連連突破日軍陣地。守軍雖然英勇奮戰，但傷亡太大，實力愈來愈不支。
這一天，日軍占領了四分之三的台兒莊地盤。池峰城師傷亡慘重，池峰城請求孫連仲讓他的部隊退到運河南岸。孫連仲斷然向池峰城命令道：“部隊絕不許撤，打到最後為止。士兵打完了你就自己上前填進去，你填過了，我就來填進去。有誰敢退過運河，殺無赦！”
池峰城奉命後，知道軍令不可違，便以必死決心，逐屋抵抗，任憑日軍如何衝殺，也死守不退。戰到黃昏，日軍停止進攻。到了午夜，池峰城組織幾百人的先鋒敢死隊，分組向日軍偷襲，衝入日軍陣地，人自為戰，奮勇異常。官兵手持大刀，向日軍砍殺。日軍血戰幾十天，已精疲力竭，不料中國軍隊還能乘夜出擊。日軍在慌亂中倉促應戰，亂作一團，日軍血戰幾天才占領的台兒莊市街，竟為中國軍隊一舉奪回，日軍死傷累累。