李宗仁送走蔣介石，看到台兒莊戰役第一天的戰鬥報告，當即傳令：“獎賞敢死隊銀元10萬。”敢死隊員們聽到李宗仁的嘉獎令，一致表示：“隻要抗日，不要銀元！”
李宗仁聞訊，心裏踏實了。戰前，孫連仲、湯恩伯各指揮一支大兵團，誰打陣地戰？誰打運動戰？誰能守住台兒莊？誰去側擊日軍？
李宗仁頗費了一番心思。
孫連仲早年畢業保定中學，是在西北軍中成長起來的。孫連仲率領的部隊，在大革命時期受到愛國主義的熏陶，既有西北軍的底子，也保持了西北軍勇敢頑強的戰鬥作風，是一支敢打硬仗、惡仗的部隊。抗日戰爭爆發以後，曾經參加了涿州、娘子關地區的防禦作戰。
湯恩伯是浙江武義人，１９２４年入日本陸軍士官學校，畢業回國後投靠蔣介石。先後擔任國民革命軍總司令部參謀、中央軍校第6期學生大隊長、教務處副處長、軍官團副團長、教導旅長等職務。１９３１年擔任第89師師長。抗日戰爭爆發後，湯恩伯曾率領部隊防守南口、居庸關等要地，阻擊沿平綏路進犯的日軍，但湯恩伯指揮的部隊接連潰逃，沒有打一個像樣的阻擊戰，更不用說阻止日軍的進攻了。
在舊軍隊中，西北軍以善於防守著稱。李宗仁把堅守台兒莊正麵核心陣地這個最艱巨的任務交給孫連仲指揮的第2集團軍，是用人之長，用軍之長。第一天戰鬥，李宗仁更加堅信戰前用對了人，用對了兵。徐州會戰，孫連仲指揮的部隊在台兒莊戰役中起到了重要作用。
3月26日淩晨2時，進攻台兒莊的日軍向支隊司令部報告，台兒莊連續兩日戰鬥，死20人，傷120人，失蹤5人。這組數字雖然不大，但挫傷了日軍的進攻銳氣。
3月27日，日軍增加兵力以後，繼續向台兒莊進攻。這時候，日軍的進攻隊伍中已經有獨立機槍第10大隊、輕裝甲車第10中隊等火力和突擊力比較強的兵種。戰鬥打響後，日軍主力都被吸引到台兒莊附近。激戰中，日軍部分主力突入台兒莊的北門。第31師官兵奮力反擊，陣地上你來我往，中國守軍與日軍展開了拉鋸戰。看到隆隆開過來的日軍坦克，中國守軍把十多枚手榴彈捆成一束，把日軍的坦克炸毀。肉搏戰時，中國軍隊官兵手中的大刀發揮了強大的威力，日本鬼子被砍得血肉橫飛。
在激烈的戰鬥中，孫連仲司令幾番訓話，鼓舞了守城部隊的士氣。
李宗仁見守城部隊士氣高昂，日軍已經就範，看到殲滅日軍的時機基本成熟，命令第20軍團用部分兵力監視當麵的日軍，主力迅速南下，圍殲台兒莊的日軍。
3月28日，日軍的攻擊越來越猛烈，堅守台兒莊陣地也越來越艱難。第31師官兵遵照李宗仁的命令，不畏犧牲，英勇抗擊，始終堅守陣地。
台兒莊戰鬥到了關鍵時刻。這天，李宗仁嚴厲命令第20軍團用主力攻擊台兒莊以北的日軍的側背，配合第2集團軍的官兵打擊日軍。
3月29日，天剛蒙蒙亮，孫連仲總司令就把師長、旅長和炮兵團長召集到一起，進一步明確了堅守台兒莊的堅強決心。孫連仲對大家說：“根據種種跡象分析，我們當麵的日軍正在等待援助。我們要以鉗形攻勢把這些日軍殲滅。第31師仍然要堅守陣地，要牢固樹立獨自為戰的思想。同時，我們還要組織部隊出擊，打陣地戰，內外配合，就會主動得多。”
日軍磯穀廉介中將為了迅速攻下台兒莊，命令瀨穀啟少將即刻把旅團主力投入戰鬥。
為了鉗製日軍南下，減輕台兒莊戰場的壓力，3月30日，第5戰區命令第20集團軍以一部兵力對嶧縣的日軍進行佯攻，另以一部分兵力迅速向泥溝前進，協助第2集團軍的部隊打擊圍攻台兒莊之敵。這支中國軍隊千方百計破壞鐵路、公路交通。切斷嶧縣與台兒莊這兩部分日軍之間的聯係。第89師第529團團長羅芳圭身先士卒，帶領部隊同日軍浴血奮戰。
這天，蔣介石命令第5戰區的部隊死守台兒莊。
李宗仁司令長官下達了第2集團軍死守台兒莊陣地命令，同時，李宗仁再次嚴令湯恩伯率領部隊迅速南下，協助第2集團軍殲滅進攻台兒莊之敵。
3月30日，日軍榮福團在台兒莊遭到中國軍隊的南北圍攻，處境危險。瀨穀旅長急忙命令赤峰團前往增援，自己則趕到台兒莊前線督戰。日軍竭力全力攻擊台兒莊陣地。
3月31日，中國軍隊把進入台兒莊的日軍全部包圍起來了。
台兒莊的日軍處於危急狀態。為了策應台兒莊的戰鬥，日軍第2集團軍命令攻擊臨沂的阪本支隊轉向台兒莊，支援台兒莊戰場。阪本支隊於31日到達向城、愛曲地區，從側麵攻擊第20軍團，企圖解第10師團之圍。湯恩伯指揮的第20軍團發現這路日軍後，命令第52軍和剛剛到達的第57軍一起，圍攻阪本支隊。經過數天戰鬥，阻擊了阪本支隊，使日軍增援台兒莊的計劃沒有實現。
4月1日，日軍為了增加台兒莊方向的兵力，不得不把第8旅團第39聯隊的一個大隊派遣到台兒莊。連日激戰，台兒莊難以攻克，日軍第10師團已經山窮水盡，磯穀廉介中將能夠掌握的預備隊，也隻有5個營的兵力了。
4月3日，日軍再次向台兒莊陣地上的中國守軍發起攻擊，不斷投擲催淚瓦斯彈。當日軍攻占台兒莊的東南門後，突入城寨百餘米，台兒莊大部分市區的街道被日軍占領。第31師官兵在激戰中死傷2/3，仍然據守南關的幾處陣地，同日軍拚死抵抗。
中國軍隊衝入台兒莊殲滅殘敵李宗仁分析了戰場全局情況，拿起電話，冷靜地命令孫連仲：“第2集團軍各部必須堅守至次日拂曉，拖住日軍，等待湯恩伯軍團前來增援。”
孫連仲毫無懼色，堅定地回答：“長官有此決心，我第2集團軍犧牲殆盡不足惜，連仲亦以一死報國家。”
４月４日深夜，湯恩伯指揮的部隊到達台兒莊的北麵。這時候，台兒莊已經有2/3被日軍占領。
李宗仁原來認為，湯恩伯的部隊４日中午即可到達，因此，命令孫連仲於４日晚上向日軍陣地反擊。這天半夜，孫連仲總司令把陣地上所有能用的兵都集中起來了，傷員們來了，炊事員，擔架兵，都站到了敢死隊的行列裏。這支數百人的敢死隊正要出發，電話鈴響了。