滕縣既陷，倭軍急速南下，其勢凶猛，不數日便克臨城、陷棗莊、占韓莊，兵鋒直逼台兒莊。蔣中正大驚，親臨徐州，建議取消作戰計劃。李宗仁決然要戰，道：“我以孫連仲部死守台兒莊；湯恩伯部從側襲擾倭寇，蔣公看我成此大功！”蔣中正知其意已決，便道：“德臨不懼，必然能勝。”言罷怏怏而去。
湯恩伯一部於路攔截倭軍，略戰一陣，便退入山中，不敢露首。時倭軍鋒銳無比，舍湯恩伯部而不顧，直撞向台兒莊。台兒莊南靠運河，壘牆為城，環約八裏；國軍已築碉堡，六個城門俱嚴兵以待。西南之文昌閣為台兒莊製高點。孫連仲部之池峰城師守衛台兒莊。池峰城背靠運河布陣，欲置死地而後生。忽中日騎兵突遇，倉促相攻。國軍不敵，退入台兒莊。倭軍就於台兒莊前擺好陣勢，轟然炮擊，炮未停息，即以敢死隊衝擊。國軍據河固守，待倭軍半渡擊之，手榴彈如冰雹瀉下。倭軍死傷無數，河水為之一紅。
倭軍一部從北落村攻擊鐵路守軍，遭國軍猛擊。此處地勢平坦，倭軍無處藏身，俱伏於麥田，難以進展。倭軍夜襲國軍，從東西夾擊鐵路陣地。兩軍就於黑夜中刀槍相格。國軍勢眾，拚殺一夜，倭軍不勝，隻得退去。次日，國軍以裝甲車為前鋒反擊倭軍。衝鋒號起時，國軍蜂擁向前。倭軍雖少，卻勇猛異常，與國軍激戰竟日。國軍大隊攻襲劉家湖之敵，倭軍輜重隊大驚，拚死阻擊。忽倭軍援軍趕來，與國軍大戰一場。至次日，倭軍見勢不利，漸次退去。又將沿途村莊焚燒，以阻國軍追兵。
次日淩晨，倭軍炮隊轟擊台兒莊，天地皆撼。忽城牆一處塌陷，倭軍敢死隊從破裂口衝入，後續倭軍涉河浜而進。國軍之手榴彈密如飛蝗，倭軍倒斃河中者甚眾。倭軍步兵幾乎全員倒斃，倭軍不懼死，前赴後繼衝殺。國軍手榴彈大逞威風，仍如雨飛向倭軍。倭軍死戰一日，方得城中一隅。入夜，國軍趁黑來襲。兩軍便於街巷中格鬥。倭軍刀槍之術甚強，國軍不敵，退據殘垣後，以手榴彈阻擊倭軍。街中槍聲一夜不絕，兩軍對峙。
時我眾敵寡，倭軍無力進擊，加之國軍迫擊炮不時襲擊敵陣，死傷益見慘重，倭軍殘部不分日夜，從嚴防守。忽倭軍聞援軍即至，軍心大振，又行攻擊。國軍不敵，便派敢死隊將倭軍戰車破壞迨盡。時倭軍前鋒子彈告罄，亦不敢向前突擊。
如此酣戰數日，國軍死傷甚眾，漸漸力不從心。倭軍雖全力攻擊，卻難成功。孫連仲堅守曠日，軍勢日危，遂向湯恩伯部求援。湯恩伯見倭軍勢大，不敢出擊。李宗仁大驚，嚴令湯恩伯率軍馳援，從側夾擊倭軍。湯恩伯正欲南下，忽報磯穀師團援軍沿津浦線裹風而至，阪本支隊自東殺來。湯恩伯駭然，恐腹背受敵，不敢全力阻擊倭軍。倭軍驟然攻擊湯恩伯部。湯部稍戰一陣便退入雲穀山區。倭軍不追湯恩伯部，揚塵南下。倭軍阪本支隊、磯穀師團援軍相繼趕到台兒莊，聲勢大振，攻勢愈猛。倭軍行於嶧縣與台兒莊之間而無阻，蔣中正大怒，深責湯恩伯戰而不力，嚴令其尋敵決戰，以解台兒莊之圍。湯恩伯惶恐，率軍盡出，拊倭軍之側背。
時台兒莊中，國軍與倭軍巷戰。倭軍戰車既不可用，子彈亦盡，遂行肉搏。殘垣瓦礫間，兩軍逐房相爭，殺聲四起。國軍31師以仵德厚為敢死隊長，與敵血戰良久，隻存三人而回。師長池峰城見陣中唯有少許傷兵，請求撤至南岸休整。孫連仲決然回電：“士兵打完了，你就自己上前填進去；你填過了，我就來填進去。不死於陣前，即死於國法。有敢退過運河者，殺無赦！”池峰城知軍令不可違，率殘部逐屋抵抗，死守不退。