就在台兒莊戰役的同一年裏，1938年3月，德國占領奧地利後，又突然掀起了一場反捷運動；及至10月6日，斯洛伐克脫離捷克聯邦，宣布成立“自治政府”。其時，在亞洲，日本關東軍於7月29日出動大批機動化部隊，向蘇軍發動了大規模進攻，釀成“張鼓峰事件”。
1937年12月，日軍占領太原、南京後，為連接南北戰場，進而攻占武漢，迫使中國政府投降，就把進攻目標對準了軍事重鎮徐州。日軍計劃兵分兩路進攻徐州，兩路在台兒莊會師。而中國方麵，負責徐州地區防務的是以李宗仁為司令長官的第五戰區。
1938年3月，日軍最精銳的第五師團向臨沂進犯，原來一直在津浦鐵路上正麵作戰的日軍第十師團也向台兒莊推進，從而揭開了台兒莊戰役的序幕。
14日，日軍第十師團向台兒莊北麵的滕縣發起猛攻，中國守軍孫震部第122、124兩師奮起還擊，雙方展開激戰。17日，日軍數十架飛機和30多門大炮同時轟擊滕縣城牆，城牆多處被炸毀，日軍在數十輛坦克的掩護下試圖衝入城內。中國守軍奮力抗擊，截止到下午5時，122師師長、參謀長以及大多數士兵壯烈犧牲，日軍衝入城內。18日晨，滕縣失守。
日軍第十師團占領滕縣後，不考慮其第五師團在臨沂的受阻，繼續孤軍向台兒莊進發。這時，中國第五戰區司令長官李宗仁命令湯恩伯第20軍團在津浦鐵路上阻止日軍南下，命令孫連仲第2集團軍前往台兒莊。
23日，日軍向台兒莊發動了進攻。戰鬥開始後，1000多名日軍在重炮和坦克的掩護下開始向台兒莊進攻，31師的1個團機智地將日軍誘至中國軍隊伏擊圈，殲滅日軍700多人。24日，2000多名日軍在飛機、重炮和坦克掩護下，再次向台兒莊發動猛攻。日軍用飛機、重炮輪番炸毀台兒莊防禦工事後，衝入城內。中國守軍與敵軍展開激烈的巷戰，第31師一部前後夾擊，殲滅一部分日軍。下午，由城牆東北角衝入城內的200多名日軍也被第31師將士殲滅。
26日以後，日軍第十師團主力逐漸到達台兒莊。27、28日，日軍連續向台兒莊發動猛攻，中國守軍雖然傷亡慘重，但仍然堅守陣地。28日晚，日軍一部分衝入台兒莊內，雙方展開了激烈的肉搏戰。隨著日軍的持續增援，到4月3日，第31師已經失去了台兒莊大部分領土，隻剩下南關一處。在這種情況下，中國守軍仍然頑強抵抗，堅守陣地。至3日午夜，中國軍隊數百人的敢死隊，輪番衝入敵陣，揮動大刀，殺得日軍血肉橫飛，四處逃散。經過殊死激戰，幾乎全軍覆沒的中國守軍竟然從日軍手中奪回了大部分地盤。
此時，孫桐萱率領第3集團軍在津浦線上，經過奮力拚搏，切斷了台兒莊日軍的增援線。湯恩伯部在李宗仁的命令下，也南下協助孫連仲部夾擊敵軍，解除了台兒莊北麵及東北麵的威脅，並於4月6日黎明到達台兒莊外圍。台兒莊的日軍第10師團已陷入內外夾擊的境地。
4月6日晚8時，中國軍隊內外同時發起反攻，附近的百姓也趕來助戰，殺得日軍潰不成軍，至晚10時，日軍在中國軍隊南北夾擊之下，隻有少數殘部突圍出去，日軍第十師團主力被徹底殲滅，再無反攻之力。中國軍隊取得了台兒莊戰役的巨大勝利。
台兒莊戰役，中國軍隊經過英勇拚搏，殲滅日軍2萬餘人。台兒莊大捷，是抗日戰爭以來國民黨正麵戰場上取得的最大一次勝利，極大地鼓舞了中國軍民的抗戰熱情，振奮了全民族抗戰的士氣。