1937年12月13日，日軍占領南京，之後，為打通津浦線，溝通南北戰場，進而切斷隴海路，進窺武漢，製定了以奪取徐州為主要目標的作戰計劃。中國則采取集中優勢兵力，進行機動防禦，各個擊破分進之敵的作戰方針，組織徐州會戰，以圖將日軍主力鉗製在津浦線上。
徐州江蘇北部重鎮，是東西、南北兩大鐵路幹線的交彙點，曆來是兵家必爭之地。一心想吞並我國神聖領土的日本侵略者自然深知這一點。於是，1937年12月起，日軍以華北方麵軍和華中派遣軍聯合向徐州發起南北夾擊，企圖打通津浦鐵路，殲滅這一地區的中國軍隊主力。他們集中了號稱“大日本皇軍精華”的磯穀師團和板垣師團，沿鐵路線南下，直奔徐州而來。
中國軍隊已經做好了應戰的準備。指揮作戰的是第五戰區司令長官李宗仁。李宗仁帶兵驍勇善戰，在將士中有一定的威信。他知道敵軍攻打徐州，必然要經過台兒莊。台兒莊在徐州東北30公裏的大運河北岸，臨城至趙墩的鐵路支線上，戰略地位十分重要。於是，李宗仁命令孫連仲的第二集團軍在台兒莊迎戰敵人，同時命令湯恩伯軍團從側麵攻擊日軍，然後由兩路大軍共同把日軍壓到台兒莊附近的位於山東省南端的微山湖予以殲滅。
1938年3月22日，孫連仲部隊渡過大運河，進駐台兒莊及其附近地區，池峰城師長率領的31師加炮兵一個營率先進入台兒莊布防。23日，從峰縣來的1000多鬼子，在10門重炮和8輛坦克的掩護下，向台兒莊進攻。
台兒莊一帶的陣地上，配備有威力巨大的防禦炮，可是眼看日軍的坦克慢慢進入了射程，我軍大炮卻沒有絲毫動靜。性急的池師長連聲責問炮兵營長為什麼還不開炮。那位炮兵營長卻冷靜地答道：“報告師長，打敵人的坦克車，不能打帶頭的幾輛，而要打中間的。中間的打壞了，前頭的退不下，後麵的不能前進，這樣才能打退敵人的進攻。”師長聽後，暗暗點頭。
當日軍坦克進到離大炮陣地僅四五百米時，營長連續下令對著當中的坦克開炮。炮聲隆隆，硝煙滾滾，一下子擊中了中間的四輛坦克，中了彈的坦克頓時趴在那兒動不了窩了，而領頭的坦克也不知如何是好，在原地轉來轉去。後麵的坦克見大勢不妙，掉頭就跑。靠坦克掩護的步兵也隻得紛紛後退。
我軍乘勝攻擊，一下子殲滅600多敵人，剩下的鬼子逃竄到北洛，據險固守。其實這時日本鬼子並不知道我軍的戰略部署，因此並沒有集中兵力來攻台兒莊。按原計劃，湯恩伯軍團這時應該抓住時機從側麵攻擊日軍主力，但是他們與日軍打了三四天，非但沒有完成原定計劃，反而暴露了我軍的意圖。於是，日軍大舉向台兒莊發動進攻。24日，磯穀師團開始猛轟台兒莊。台兒莊的城牆用磚石砌成，非常堅固，但是在日軍炮火的猛烈轟擊下，多處都已倒塌了。
日寇炮轟之後，以坦克為先導掩護步兵向前猛衝。第二集團軍雖是雜牌軍，裝備落後，但將士們個個抱著拚死的想法，英勇地抵抗日軍的進攻。
這一天，我軍將士與敵人鬥在一處，直殺得個天昏地暗，常常為爭奪一村一地，與日軍反複肉搏一二十次，雙方傷亡很大。25日晨，我軍有援軍及時趕到，將丟失的台兒莊北五六個村子莊相繼收複。日軍傷亡慘重，一時無法集中全力攻城。但是，日軍倚仗其大炮、飛機的威力，向我城周圍陣地猛烈轟擊。一天內，落在我陣地上的炮彈達6000多發。英勇的我軍戰士毫不畏懼，以血肉之軀與敵方炮火、坦克相抗衡。
部隊久攻不下，日軍磯穀師團長不禁惱羞成怒，於3月29日親臨台兒莊西範口附近督戰。30日，戰鬥進入了白熱化狀態。日軍瘋狂發動攻擊，當晚占據了城內東半部。但是，城內守軍並沒有被敵人的囂張氣焰所嚇倒，而是在大街小巷與敵人白刃拚搏，至死不退。他們組織了一支又一支突擊隊，機動有效地打擊敵人。城外守軍同時發起反擊，截擊了日軍炮兵部隊，在城周圍與敵人激烈廝殺，以減輕城內守軍壓力。