守衛台兒莊的第31師官兵與日軍展開激戰，不時地以靈活的戰術同日軍進行周旋。突然，日軍的炮火把台兒莊城寨東北角的城牆炸塌了，日本鬼子看到城牆中的這個突破口，紛紛往城裏衝。池峰城師長看到情況萬分危急，厲聲命令：“敢死隊，跟我上！”
在師長的帶領下，第186團官兵蜂擁而上，同日軍拚殺起來。那是一種無法抵抗的力量。台兒莊西麵的國民黨守軍第30師的官兵在師長張金照的指揮下，乘勢從翼側打擊日軍。突入台兒莊城東北角的日軍兩麵受到威脅，立足未穩，就被中國守軍殲滅了。
李宗仁送走蔣介石，看到台兒莊戰役第一天的戰鬥報告，當即傳令：“獎賞敢死隊銀元10萬。”敢死隊員們聽到李宗仁的嘉獎令，一致表示：“隻要抗日，不要銀元！”
李宗仁聞訊，心裏踏實了。戰前，孫連仲、湯恩伯各指揮一支大兵團，誰打陣地戰？誰打運動戰？誰能守住台兒莊？誰去側擊日軍？
李宗仁頗費了一番心思。
孫連仲早年畢業保定中學，是在西北軍中成長起來的。孫連仲率領的部隊，在大革命時期受到愛國主義的熏陶，既有西北軍的底子，也保持了西北軍勇敢頑強的戰鬥作風，是一支敢打硬仗、惡仗的部隊。抗日戰爭爆發以後，曾經參加了涿州、娘子關地區的防禦作戰。
湯恩伯是浙江武義人，１９２４年入日本陸軍士官學校，畢業回國後投靠蔣介石。先後擔任國民革命軍總司令部參謀、中央軍校第6期學生大隊長、教務處副處長、軍官團副團長、教導旅長等職務。１９３１年擔任第89師師長。抗日戰爭爆發後，湯恩伯曾率領部隊防守南口、居庸關等要地，阻擊沿平綏路進犯的日軍，但湯恩伯指揮的部隊接連潰逃，沒有打一個像樣的阻擊戰，更不用說阻止日軍的進攻了。
在舊軍隊中，西北軍以善於防守著稱。李宗仁把堅守台兒莊正麵核心陣地這個最艱巨的任務交給孫連仲指揮的第2集團軍，是用人之長，用軍之長。第一天戰鬥，李宗仁更加堅信戰前用對了人，用對了兵。徐州會戰，孫連仲指揮的部隊在台兒莊戰役中起到了重要作用。
3月26日淩晨2時，進攻台兒莊的日軍向支隊司令部報告，台兒莊連續兩日戰鬥，死20人，傷120人，失蹤5人。這組數字雖然不大，但挫傷了日軍的進攻銳氣。
3月27日，日軍增加兵力以後，繼續向台兒莊進攻。這時候，日軍的進攻隊伍中已經有獨立機槍第10大隊、輕裝甲車第10中隊等火力和突擊力比較強的兵種。戰鬥打響後，日軍主力都被吸引到台兒莊附近。激戰中，日軍部分主力突入台兒莊的北門。第31師官兵奮力反擊，陣地上你來我往，中國守軍與日軍展開了拉鋸戰。看到隆隆開過來的日軍坦克，中國守軍把十多枚手榴彈捆成一束，把日軍的坦克炸毀。肉搏戰時，中國軍隊官兵手中的大刀發揮了強大的威力，日本鬼子被砍得血肉橫飛。
在激烈的戰鬥中，孫連仲司令幾番訓話，鼓舞了守城部隊的士氣。
李宗仁見守城部隊士氣高昂，日軍已經就範，看到殲滅日軍的時機基本成熟，命令第20軍團用部分兵力監視當麵的日軍，主力迅速南下，圍殲台兒莊的日軍。
3月28日，日軍的攻擊越來越猛烈，堅守台兒莊陣地也越來越艱難。第31師官兵遵照李宗仁的命令，不畏犧牲，英勇抗擊，始終堅守陣地。
台兒莊戰鬥到了關鍵時刻。這天，李宗仁嚴厲命令第20軍團用主力攻擊台兒莊以北的日軍的側背，配合第2集團軍的官兵打擊日軍。
3月29日，天剛蒙蒙亮，孫連仲總司令就把師長、旅長和炮兵團長召集到一起，進一步明確了堅守台兒莊的堅強決心。孫連仲對大家說：“根據種種跡象分析，我們當麵的日軍正在等待援助。我們要以鉗形攻勢把這些日軍殲滅。第31師仍然要堅守陣地，要牢固樹立獨自為戰的思想。同時，我們還要組織部隊出擊，打陣地戰，內外配合，就會主動得多。”
日軍磯穀廉介中將為了迅速攻下台兒莊，命令瀨穀啟少將即刻把旅團主力投入戰鬥。
為了鉗製日軍南下，減輕台兒莊戰場的壓力，3月30日，第5戰區命令第20集團軍以一部兵力對嶧縣的日軍進行佯攻，另以一部分兵力迅速向泥溝前進，協助第2集團軍的部隊打擊圍攻台兒莊之敵。這支中國軍隊千方百計破壞鐵路、公路交通。切斷嶧縣與台兒莊這兩部分日軍之間的聯係。第89師第529團團長羅芳圭身先士卒，帶領部隊同日軍浴血奮戰。
這天，蔣介石命令第5戰區的部隊死守台兒莊。
李宗仁司令長官下達了第2集團軍死守台兒莊陣地命令，同時，李宗仁再次嚴令湯恩伯率領部隊迅速南下，協助第2集團軍殲滅進攻台兒莊之敵。
3月30日，日軍榮福團在台兒莊遭到中國軍隊的南北圍攻，處境危險。瀨穀旅長急忙命令赤峰團前往增援，自己則趕到台兒莊前線督戰。日軍竭力全力攻擊台兒莊陣地。