1938年春季，日寇的精銳部隊第十師團的一個旅團等，企圖沿津浦線南下攻占徐州。當時國民黨第五戰區司令長官李宗仁負責指揮徐州一帶戰事。蔣介石於徐州方麵告急時，也認為在戰略上有加強第五戰區之必要，乃倉促檄調第一戰區駐河南補充訓練尚未完成的湯恩伯軍團與孫連仲第二集團軍星夜增援。
第五戰區長官部判斷，恃戰勝餘威、驕狂分萬的磯穀師團長一定不待蚌埠方麵北上敵軍的增援呼應，便要直撲台兒莊，以期一舉攻下徐州，搶先奪取打通津浦路的大功，故調兵遣將，張網以待。除以孫連仲部正麵迎敵外，又派湯恩伯潛行南下拊敵之背，協同孫部包圍日軍而殲滅之。
3月19日，孫連仲接到命今後，立即指揮部隊東調，指定參謀人員先行赴徐州以北地區選定前進指揮所。同時命令池峰城第三十一師進駐台兒莊及其附近地區，構築工事，掩護他部陸續集中。
第二集團軍完成後的布防概況是：台兒莊城寨由第三十一師一八四團防守。該師其他部隊一部分防守台兒莊以西七裏之範口村及以東約三裏之官莊，準備協同台兒莊核心之作戰。另一部分沿大運河南岸布防。
池峰城在城寨外指揮。第二集團軍的第二十七師、第三十師和第四十四旅陸續集結於賈汪東北和台兒莊以南地區。總司令部設在距台兒莊城寨五公裏處。
3月22日，池峰城師進駐完畢。次日，由嶧城南下之敵進犯台兒莊，中國軍隊還擊，形成對峙狀態。劉蘭齋率騎兵從台兒莊北門出擊日軍，乜子彬旅長率第一八三團跟進，在康莊與日軍騎兵遭遇，出擊部隊邊戰邊退，誘敵深入。
第一八三團在獐山與日軍激戰至晚。同日下午，敵機多架在台兒莊一帶低空飛行，進行偵察掃射、一場喋血大戰即將展開。
24日晨，日軍三個聯隊約五六千人，在飛機、坦克、重炮配合下，向台兒莊猛撲。臨戰之際，孫連仲親赴前線調令下屬：“麵臨強大的敵人，我們隻能依靠地形擋住它，再利用夜裏的小突擊拖住它。沒有命令，決不撤退。”
戰鬥中，日軍摧毀了台兒莊北城牆，從突破口衝了進來。池峰城親率敢死隊與敵拚殺。李宗仁聞報，明令以十萬銀元獎賞。但敢死隊員一致表示：“隻要抗戰，不要銀元！”
當晚，池峰城身先士卒，率隊夜襲敵陣，在第一八六團配合下，殺出一條血路，將從突破口衝入日軍全部消滅。此後連續數日，敵軍仗其優勢武器裝備，利用白晝作戰。中國軍隊堅決抵禦，同時摸黑夜襲，消滅敵人，雙方展開了激烈的拉鋸戰。
29日淩晨，孫連仲召集軍、師、旅長及炮兵團長會議，重申固守台兒莊之誌。並指出：當麵之敵似在待援中，我以鉗形攻勢當可聚殲之；第三十一師仍須獨自為戰，以利外線組織戰鬥。
戰鬥延續到4月3日，日軍攻占了台兒莊的東南門，侵入城寨內百米，同時擲催淚瓦斯彈。台兒莊三分之二的地方為日軍占領，中國守軍死傷十之七八。孫連仲的部隊據守南關一隅，死拚不退。