張自忠殉國 繼臨沂、滕縣序幕戰之後，3月下旬，敵磯穀師團主力南下。擁有坦克七八十輛，山炮和重炮百餘門，在飛機的掩護下，向台兒莊發起猛攻。台兒莊保衛戰由此展開。
第五戰區為確保台兒莊陣地，以拱衛徐州，進行了部署調整，命孫連仲的第二集團軍3個師扼守台兒莊正麵陣地，命湯恩伯的第二十軍團以一部擔任台兒莊至韓莊間運河南岸防務，以兩個軍向嶧縣、棗莊日軍側背攻擊，準備配合孫連仲部圍殲敵人。3月24日，蔣介石到徐州督戰。同時派副參謀總長白崇禧、軍政部次長林蔚、廳長劉斐等組織臨時參謀團，於徐州協助李宗仁指揮作戰。
台兒莊位於徐州東北30公裏的大運河北岸、臨城至趙墩的鐵路支線上，北連津浦路，南接隴海線，戰略位置十分重要。日軍如攻下台兒莊，既可南下趙墩沿鐵路西進，攻取徐州，又可北上策應阪垣師團，截斷張自忠、龐炳勳各軍的後路。
3月23日，嶧縣之敵千餘人，在重炮10門、坦克8輛的掩護下，向台兒莊進攻，被第三十一師與第二十七師殲滅過半，殘敵三百餘人竄至北洛固守。
翌日，日軍二百餘人在飛機、重炮和戰車的掩護下，再次發動進攻，其一部突入莊內，三十一師以一旅在莊內展開巷戰，另以一團由南洛襲敵側背，終將日軍擊潰。下午，日軍再由北洛反攻，其炮火將台兒莊北門轟破，日軍300人衝入，被三十一師趕出。
至26日，日軍進攻台兒莊部隊已達三千餘人，並補充了重炮、坦克和彈藥。同時，中國野戰重炮團及戰車防禦炮營，鐵甲車一個中隊先後開到台兒莊，中國守軍火力大大加強。
27日，日軍在9輛戰車的掩護下，猛攻台兒莊，中國戰防炮大顯神威，擊毀敵戰車6輛。台兒莊守軍與敵進行近戰、肉搏戰，使其戰車和大炮失去威力，打退日軍無數次進攻。當晚，日軍三百餘人由城北破口衝入西北角，但遭中國守軍炮擊，並經池師一部反擊，戰至深夜，將入侵之敵大部消滅，其一部退據大廟死守。三十一師亦死傷五百餘人。李宗仁其日向蔣介石報告戰情如下：台兒莊以北敵人因受二十七師壓迫及三十一師出擊，仍集中炮火向台兒莊猛攻，企圖占領該莊。9時敵機11架在台兒莊上空助戰，北門被毀，敵步兵二百餘人由破口衝入，我守軍奮勇與敵巷戰，卒將侵入敵人大部解決。台兒莊仍在我手中。但我已占領各村莊中尚有少數敵人占據碉堡相抗。
這一天，李宗仁還向台兒莊總指揮孫連仲發電，電文中說：
查台兒莊為徐州前方要地，又為湯軍團後方聯絡要道，關係重要。據報該處附近敵人約一混成聯隊，國軍兵力數倍於敵，早當解決，乃經幾日戰鬥，台兒莊外圍反被敵衝入一部，殊深詫異。著令負責嚴督所部，限於29日前將該敵肅清，勿得延緩。致誤戎機為要。
鑒於台兒莊方麵戰況緊急，李宗仁還命令湯恩伯第二十軍團“即放棄嶧縣、棗莊之攻擊計劃，以一部監視當麵之敵，主力向南轉進，先殲滅台兒莊之敵”。由於湯軍團未奉令行動，29日又命令“八十五軍30日應對嶧縣之敵佯攻，以牽製該敵南下；五十二軍30日應速向泥溝、北路前進……以一部向南洛協助第二集團軍解決台兒莊附近之敵。”湯軍團乃與關麟征軍南進，協同孫連仲部夾擊台兒莊；王仲廉軍主力則集結在神山一帶，並留一部掩護關軍側背。
29日，台兒莊上戰事異常激烈。三十一師對莊內日軍實行反攻，一支72人的突擊隊，在迫擊炮掩護下，攻擊文昌閣，將盤踞其內的日軍悉數聚殲。同時，二十七師對台兒莊北麵之日軍實施反擊，攻克了邵莊、園上、孟莊，擊毀敵坦克多輛。湯恩伯軍團也由嶧縣東北南下，進攻向北洛、泥溝前進的日軍，使其不能與原有的日軍順利合攏。
日軍也異常頑強，除與國軍截擊部隊激戰外，不停地督率其攻堅部隊向台兒莊進攻。瀨穀急令赤柴聯隊馳援台兒莊，並親赴前線督戰。其第一批突擊隊被消滅後，接著又派第二批突擊隊侵入。突入城內的日軍雖不斷遭殲，但由於西門、北門為其控製，日軍仍可以隨時突入，而且舉火為號指揮飛機轟炸，夜晚以炮火向守軍轟擊，戰士死傷慘重。台兒莊之戰，進入膠著狀態。