戰役進程
滕縣保衛戰和臨沂大捷有效地遲滯了磯穀支隊的南下進攻勢頭，也使第5師團板垣支隊的南下發生困難，這樣便為第五戰區調整台兒保衛戰的部署爭得了時間。與此同時，隨著戰局的變化，敵我雙方的作戰意圖和部署都有了相應的改變。
從日軍的作戰意圖看，當其沿津浦路南下時，磯穀支隊方麵是主力，而板垣支隊向臨沂發展進攻則是作為策應的。可是到了3月20日，磯穀支隊已經到達嶧縣（今嶧城）時，板垣支隊還在臨沂受阻。3月19日，日軍第二軍已向第10師團轉達板垣支隊南下困難的情況，希望第10師團方麵能予以有力的支援。於是，第10師團便命令磯穀支隊“必須確保韓莊、台兒莊運河一線，並警備臨沂、嶧縣，同時用盡可能多的兵力向沂州方麵突進，協助第5師團戰鬥。”這樣，第10師團便組成沂州支隊，把部分力量的攻擊方向轉向東麵，以策應臨沂的板垣支隊。與此同時，第五戰區的部署也有部分調整。3月18日臨沂、棗莊失守後，津浦路告急，剛剛調到鄭州、洛陽一帶的孫連促第二集團軍又奉調到第五戰區。該集團軍的第31師池峰城部剛到許昌，便立即被轉調徐州，歸湯恩伯第20軍團指揮。3月21日，該師渡過運河，到台兒莊接防。3月22日，湯軍團第85軍王促廉部在嶧縣一帶與日軍脫離接觸，秘密向棗莊東北的抱犢崮山區轉移，準備從北麵攻擊日軍側背。關麟征第52軍也秘密向東過運河繞道北上，到棗莊以東的郭裏集同第85軍會合。
此時，在日軍磯穀支隊正麵的中國軍隊第20軍團第13軍第110師已在運河東岸的韓莊附近，第二集團軍的第31師在台兒莊一線。磯穀支隊的東麵則是第二軍的4個師。截止3月22日，嶧縣、台兒莊一帶敵我雙方的實力基本趨於勢均力敵的狀態。
台兒莊原來是屬於嶧縣的一個小鎮，鎮中有磚砌城牆，築有6個城門，即北門、西北門、西門、南門、東南門和東門。城牆四周修有許多大小碉樓作為防禦工事，城內西北角門的文昌閣是城內的製高點。城內原有居民三四千戶，因日軍不斷迫近台兒莊而疏散殆盡，城外的台棗鐵路支線也已拆除。 第二集團軍第31師接防台兒莊以後，立即以一個團的兵力向莊北的泥溝、北洛一帶布防，一個團置於弱站，一個團擔負運河南岸的警戒，一個團配置在台兒莊城寨以內，師部駐在台兒莊。3月23日，第31師一部在台兒莊以北的康莊附近與日軍接觸，同時，磯穀支隊的台兒莊派遣隊沿台棗鐵路南下時，在北洛附近與第31師發生激戰。此時第二集團軍各師都已到達徐州附近地區，孫連仲已奉第五戰區總司令的命令趕赴台兒莊方麵實施指揮，並指派第27師接守運河。
當時，磯穀支隊的沂州支隊以臨戰向臨沂方向策援第5師團，而第10聯隊主力在臨城，第63聯隊主力在嶧縣，準備先機占領台兒莊，保障其側翼安全，而後再向臨沂前進。當夜，日軍占領北洛。
3月24日，日軍由北洛繼續向劉家湖進攻，當晚日軍一部突破台兒莊城東北角，結果被守軍擊退。這時第31師采取了收縮兵力的辦法：第182團在北站，第181團在南洛，第186團在台兒莊，第185團在劉家湖。直至26日，日軍進攻台兒莊的兵力已達3000多人，並補充了重炮、坦克和彈藥。同一天，中國野戰重炮團和戰車防禦炮營、一個鐵甲車中隊也先後開赴台兒莊，守軍的火力大大地加強了。27日，日軍在9輛戰車掩護下猛攻台兒莊，突破北門，再次占領東北角。此役守軍的戰防炮大顯神威，擊毀日軍6輛戰車。同時第185團在劉家湖向日軍出擊，營長高鴻立率士兵赤膊上陣，揮舞著大刀衝入日軍的炮兵陣地，其勇猛的氣勢一度使日軍大批士兵棄炮而逃。同一天，日軍得到增援後又對台兒莊發動第三次較大的攻擊，雙方在城內展開慘烈的巷戰。守軍第31師原來的四個團8000多人已死傷近3000，剩餘部隊縮編為三個團7個營，堅持頑強抗擊。城內陣地上每天落下數千發炮彈，北麵城牆大部分被毀，城內陣線呈犬牙交錯之勢。城外第30師及獨立第44旅在左翼、第27師在右翼，不斷向三裏莊和劉家湖發動進攻，以緩解日軍對台兒莊城內的壓力。
3月28日，日軍進攻台兒莊城的主力部隊開始南下，會合台兒莊派遣隊一起對台兒莊發動規模更大的攻擊，最終占領城西北角。城內守軍由東麵發起反擊，城外炮兵團也展開激烈的炮戰。與此同時，守城的第31師主力以及直屬部隊和第30師的一個團全部投入城內，並劃分為北站守備隊、中央守備隊和台兒莊守備隊，實施分區防守。第二集團軍第30軍軍長田鎮南，第42軍軍長馮安邦也分赴左右兩翼督戰。
3月30日，磯穀支隊執行磯穀的命令，主力從嶧縣南撤回，以保證台兒莊攻堅部隊的後方和兩翼，並與第27、第30師發生激戰。第27師一度反擊劉家湖，截擊了日軍的炮兵部隊，並擊毀日軍戰車5輛，但中國軍隊的戰防炮也被擊毀。
這一天，日軍對台兒莊的攻擊達到頂點，傍晚日軍又占據台兒莊城的東半部，抵達大運河。福榮大佐的第63聯隊也從東南門攻入城內百餘米，同時投擲催瓦斯彈，中國守軍死傷慘重，隻剩下西北一角的軍隊仍在堅守，大部分市街已經丟失，形勢十分危急。在莊內督戰的孫連仲命令池峰城死命堅守。池峰城便組織數百人的敢死隊，分組向敵反擊，各自為戰，士兵們異常英勇，部分官兵手持大刀，向敵人砍殺。日軍已血戰數日，疲憊不堪，想不到中國守軍能深夜出擊，倉皇應戰，亂作一團。激戰通宵，日軍被迫退守北門，台兒莊四分之三的街市被中國守軍奪回。
早在日軍準備南下攻擊台兒莊時，第20軍團的第52軍已經到達棗莊以東的郭裏城集附近，24日在郭裏集包圍了一小部分日軍。25日，當日軍沂州支隊到達郭裏集時，第52軍主力隨即在郭裏集以東展開，並與日軍開始接觸。與此同時，第85軍第4師也已到達棗莊以北的山地，並於24日午夜從三麵向棗莊發起進攻，次日攻入城西，焚燒日軍戰車8輛，奪占了日軍在棗莊的三個碉堡及中興煤礦公司的水塔。這時，在嶧縣東北山區的第五戰區主力湯恩伯的第20軍團，下一步的作戰麵臨兩種選擇，一是繼續攻打棗莊和郭裏集，二是以主力南下，從嶧縣南下的日軍側背攻擊，以支援台兒莊守軍。但湯恩伯為保實力，避重就輕，在棗莊、嶧縣一帶遊動，不願脫離山區。3月27日以後，第85軍撤回抱犢山，隨後第52軍也撤向這一帶山區。