李團長和王軍長所稱來自臨沂的日軍，均係板垣第五師團阪本支隊。阪本支隊為板垣舊部，去歲與湯軍大戰南口之對手。該支隊由擔任山東莒縣的片野支隊改編。1938年2月23日，板垣師團長將片野支隊編入步兵第二十一旅團長阪本少將指揮之下，稱為阪本支隊。阪本支隊的基幹兵力為：步兵第十一聯隊（缺一個大隊），步兵第二十一聯隊（缺一部分），步兵第四十二聯隊之一個大隊，野炮兵第五聯隊主力（2個大隊基幹），山炮兵一個中隊。阪本支隊於3月5日攻占湯頭鎮，隨後攻擊臨沂，因受我軍抵抗，未能取得進展。3月27日起，阪本支隊攻擊臨沂城，占領了臨沂城周圍的村莊，由於受到我軍的頑強抵抗，直到29日尚未能攻占臨沂城。日軍第二軍因第十師團瀨穀支隊方麵戰況緊迫，於3月29日下令第五師團援救瀨穀大隊。板垣師團長遂令阪本支隊暫停進攻臨沂，往援瀨穀支隊。阪本支隊長在臨沂附近留下兩個步兵大隊，率支隊主力（步兵4個大隊、野炮2個大隊為基幹），從29日夜開始自臨沂撤兵南下，旋於向城附近與湯軍團相遇。阪本支隊以向城為據點，增援瀨穀支隊。向城至臨沂60公裏，距嶧縣37公裏，是臨沂通往台兒莊的必經之地。向城四周有土圩，圩內有五六百戶居民，圩外環河，河畔多樹。魯南鄉間，桃杏成林，柳樹尤多，春二三月，向城景色，可於“株株桃杏呈笑靨，樹樹楊柳舞腰纖”兩句詩中盡其美妙。向城在曆史上為一古城，是古向國的首都，莒侯六合諸侯於向就在這裏。因為向城緊扼公路要衝，地理位置重要，日軍在這裏及圩外兩個村子，留下了幾百名駐軍。
湯恩伯軍團長根據李團長、王軍長兩方麵的報告，判斷由臨沂竄至向城、邵家莊一帶的日軍共計3000人以上，威脅軍團左側背，而台棗支線上日軍第十師團瀨穀支隊在官莊、蘭成店支線，從右側背對軍團構成威脅。湯軍團左右兩側背受敵，夾在阪本支隊與瀨穀支隊之間，相隔僅30公裏，假使敵由兩麵對進，則相對的會合點便不足15公裏了，而我軍團、軍、師指揮機關所在地，恰好都在這些會合點上，隨時可能遭受敵炮火的打擊，如坐視這種情形發展，就隻須三四小時，便會感到因日軍合圍而陷入深刻的危機。為了爭取會戰的勝利，湯恩伯將軍經過縝密考慮後，采取斷然處置，決心轉用兵力，轉變成有利的態勢，以迅雷不及掩耳的神速行動，把我軍的兵力一律由內線轉為外線，由被動轉為主動，變包圍為反包圍，變不利為有利的態勢，將日軍主力和一部都納入湯軍團的包圍圈之內，一舉將敵席卷於台兒莊附近，與孫集團協同殲滅之。
湯恩伯將軍下此決心時，曾同關麟征軍長商量，關將軍不僅同意其卓見，而且明白表示，他願竭誠擁護這一決策到底。
同日下午3時半，湯恩伯軍團長下達命令，其要旨如下：
一、由臨沂南進之敵步騎兵三千餘，炮二十餘門，戰車十餘輛，有援台兒莊附近之敵，威脅本軍團側背之模樣，其主力已到向城、作字溝附近，其先頭一部，已與我第四師於愛曲附近激戰。
二、第五十二軍留一部於台兒莊附近監視，以主力依洪山鎮為軸，外翼經該鎮東北轉向向城、愛曲、秋湖席卷，將敵卷入我包圍線內。
三、第八十五軍（該軍以第二師歸還第五十二軍建製）由青山、平山、傅山口及向城附近一帶，分數縱隊，強行向南橋、魯坊一帶之敵掃蕩，並掩護第五十二軍之側背，排除台兒莊及嶧縣、棗莊兩麵敵人之尾追，並截留牽製愛曲、秋湖之敵，以阻止其前進。①
湯軍團戰略轉移開始了。
4月1日零點時分，關麟征率第五十二軍由腰裏徐、柿樹園乘夜與敵脫離，急向右旋回約20公裏，於拂曉到達洪山鎮以東的魯坊；第八十五軍第四師先占領愛曲、秋湖，拒止向台兒莊分進之敵，並掩護五十二軍自由安全的向右旋回，王仲廉率第八十五軍第八十九師乘夜穿越作字溝、邵家莊間敵之背側，向南橋、鳳落之間集結。上午7時，湯軍團各軍師根據軍團長命令，分別展開對鳳落、作字溝攻擊之態勢，急速向北攻擊，與第四師協同攻破作字溝、鳳落、邵家莊一帶之敵以後，即再旋轉麵對西南攻擊，與孫集團再度夾攻台兒莊當麵之敵而殲滅之。
4月1日午夜12時，湯恩伯電蔣介石、李宗仁報告軍團戰況，電文如下：
武昌。委員長蔣、徐州長官李：中密。（一）昨未由臨城竄到之敵，經我第四師迎頭痛擊，受創甚巨，刻仍在蘭陵、洪山鎮、李莊、喬北之線激戰中。我二十五師及第二師一旅，除以一部仍在北洛附近牽製台兒莊附近之敵外，主力於本晨東移，已由鳳樂［落］向敵側背迂回攻擊。（二）第八十九師及第二師（欠一旅），昨晨由嶧縣攻擊，因臨沂之敵南下，除八九師一團仍向嶧縣佯攻牽製外，主力向南下之敵跟蹤追擊。（三）據報台兒莊附近之敵一部向東北移動，似有向蘭陵鎮增援模樣。（四）東［1］日王軍仍固守蘭陵鎮、洪山鎮、李莊、喬北之線，並相機出擊，關軍仍向敵側背迂回攻擊，以期一鼓殲滅。謹聞。職湯恩伯叩。01.24。參戰。印。①
2日，湯軍團將瀨穀支隊與阪本支隊一起卷入我包圍圈內。此時，軍團所屬各部都歡聲雷動，士氣奮發，一鼓作氣，秘密神速前進，將作字溝、鳳凰山、洪山、前煙頭、小洪山、西房前、愛曲、秋湖附近及小王莊、鳳落、小鍋裏一帶之敵約四五千人像秋風掃落葉似的，於兩晝夜中殲滅大半。
正當湯軍團戰鬥順利進行之際，日軍大批增援部隊趕到了戰場，敵一部仍在愛曲、蘭陵附近抵抗，主力則向西南底閣、楊樓一線竄擾，似有會同台兒莊附近之敵向岔河鎮進攻模樣。戰區長官部電令繆澂流第五十七軍第一一師第三三三旅歸第二十軍團指揮，於南喬、魯坊待命；又令周碞第七十五軍黃光華第一三九師、張琪第六師，李仙洲第九十二軍吳良琛第十三師及邳縣炮兵第四團，各就現地開赴岔河鎮歸第二十軍團指揮。
當晚8時，第五戰區司令長官李宗仁發布命令，其要旨為：
一、敵第十師團及第五師團之一旅，自經臨沂、台兒莊諸戰鬥後，傷亡極大，現參加決戰之兵力，至多不過五個聯隊，附山野炮五六十門、重炮數十門、戰車數輛，其一部約千餘人，在洪山鎮北方秋湖附近，被我第二十軍團包圍，其主力向台兒莊東側陳瓦屋、鳳凰橋、馬家窯一帶運動，續向第二集團軍右翼迂回攻擊中。
濟南、大汶口、汶上、濟寧、滕縣間為敵第五師團之另一旅團，分段守備中。
二、第二十軍團，以一部消滅洪山鎮北方之敵，以主力於三日保持東西正麵，向台兒莊附近之左側背攻擊，逐次向左迂回，務在台兒莊左側地區，將敵捕捉殲滅之。
攻擊開始時間，由該軍團自定。①
湯軍團於3日發起總攻擊。此時，湯恩伯軍團長奉到蔣介石於2日上午10時的電令：
臨嶧台韓間之敵，經我軍連續猛攻殲滅過半，其退路斷絕，增援無望，尚作最後之掙紮。臨沂方麵之敵，苦戰之餘，放棄戰場，竟分兵向台兒莊轉進；淮南之敵，不顧側背危險，向蚌淮集結；晉南豫北之敵，不惜放棄既得地區，抽出兵力，以圖策應，均足證明敵人對於魯南會戰之重視，及其危殆之程度。仰我英勇將士，其各認清本會戰之重要性，並我軍將獲全勝之現狀，嚴令所屬作最大之努力，為戰略上適切之協同，促成絕對的勝利；以利全局，發揚國威，有厚望焉！②
總攻開始後，第五十二軍主力向向城附近迂回包圍秋湖、作字溝之敵，再經蘭陵鎮一帶向西南席卷，是日上午，克複西房前、小王莊、鳳落、作字溝、小鍋裏等地。敵軍司令部所在地劉莊有步騎千餘，亦被我軍擊潰，敵退據紅爐口頑抗，至上午10時，敵大半就殲。第八十五軍向鳳凰山、前後煙頭、小洪山之敵攻擊，奮勇奪回小洪山、前煙頭，乘勝自四戶鎮附近向南掃蕩。
截至是日止，湯軍團勝利結束了愛曲、蘭陵間的掃蕩，同時也肅清了向城到秋湖路上的殘敵，取得了截擊阪本支隊的勝利。4月4日，阪本支隊竄至蕭汪附近，受我周碞第七十五軍的包圍攻擊，陷入苦戰。同日，阪本支隊接到板垣師團長的命令：“該支隊速將當麵之敵擊滅後，主力攻略沂州轉進。”①
鏖戰大顧珊及底閣、楊樓
掃清了來自臨沂的障礙後，湯軍團便又繼續南下，配合孫集團殲滅進犯台兒莊之敵。4月3日，湯軍團第五十二軍第二師奉命派參謀前往台兒莊與孫集團聯絡。台兒莊守軍告以當麵敵情，請即時派兵側擊敵背，以解台兒莊之危②。自4月4日開始，王仲廉第八十五軍、關麟征第五十二軍，先後各自在大顧珊及底閣、楊樓同日軍展開了四晝夜的鏖戰。
4月4日，湯恩伯軍團長以電報訓令關、王、周（碞）三軍長並全體將士，電文如下：
頃奉司令長官李手令，當麵之敵連日苦戰，陷入重圍，已現動搖之勢，望我全體將士再接再厲，奮勇猛攻，務在戰場內將敵捕捉殲滅，毋使生還。萬一敵突圍逃逸，各軍可不待命令，斷行猛烈果敢之追擊，絕對不容其在晉南立足。本戰役為國家民族生死關頭，本長官親臨前線督戰，決按軍律明定賞罰，望共勉之，等因。仰一體切實遵照為要。①
這是湯軍團長對全體戰士戰前的動員令。
自是日起，湯恩伯軍團長急調剛剛趕到台兒莊戰場的周碞第七十五軍第十三師至南橋、魯坊，向北警戒，並搜索板垣第五師團由臨沂派來的後援部隊。同日，湯恩伯軍團長將第五十二軍、第八十五軍與第七十五軍一部，以由右至左之順序，全力指向棗台支線，開始進攻。各部隊發起攻勢後，五十二軍在洪山鎮以西、蘭陵鎮以南，擊破機動應戰之敵，再度占領甘露寺至楊樓與陶墩之線。
同日，王仲廉軍長親臨大小崗子附近，督率第八十五軍第八十九師到大良壁附近部署向鸞墩、大顧珊之攻擊準備。該師五三三團自淩晨3時開始攻擊溝徐、蔡莊、朱灘、大顧珊，激戰一小時，克複溝徐、朱灘，旋即續攻蔡莊、大顧珊，複以第二六五旅五三○團由清墩迂回至大顧珊側背，協同五三三團攻擊。蔡莊之敵二三百人被擊退，我軍占蔡莊，而大顧珊之敵異常頑強，死守不退，經我三麵圍攻，敵不支，狼狽逃竄，我軍占領大顧珊。
5日上午9時，日軍步騎千餘，炮4門向大顧珊猛攻。大顧珊陣地由從臨沂調來的五十七軍一一師三三三旅六六五團防守，該團沉著應戰，爭奪十分激烈。第八十九師張雪中師長派羅芳圭五二九團馳援閘甫莊至潭莊附近，六六五團因傷亡過重，力不能支，蔡莊、大顧珊陷入敵手。張雪中又以五二九團反攻潭莊、蔡莊，五三○團反攻大顧珊。羅芳圭帶領五二九團衝鋒，官兵於槍林彈雨之下抱有我無敵之決心，再度奪回潭莊。該團三營營長葉支榮身負重傷，全營傷亡2/3。晚8時，五三○團開始反攻大顧珊，敵守軍千餘頑強抵抗，該團幾次衝入村內，犧牲甚眾，仍未攻下，戰至午夜雙方形成對峙狀態。
同日，配屬於第八十五軍第八十九師的野炮兵第七團發現黃家樓、三河口之間有敵步騎兵500餘人，炮12門，企圖進擊我軍左翼之賀莊，抄八十九師之背麵，對我構成嚴重威脅。炮七團張廣厚團長趁敵炮兵尚未進入陣地，便下令八連炮兵猛烈開火，敵炮兵在陳瓦房、耿莊間陣地遭我猛烈炮火毀滅性打擊，無還手之力，遂狼狽逃竄。經此一戰，創造了我以劣勢炮兵消滅優勢炮兵的奇跡。
6日淩晨4時，第八十九師五三○團繼續攻擊，衝入大顧珊附近之圍砦，正準備巷戰之際，敵忽向我逆襲，彼此反複衝殺，激烈異常，該團三營營長黃鼎壯烈犧牲。敵又以一部從賀莊向五三三團陣地猛攻，企圖解大顧珊之危，該團即予以迎頭痛擊，敵不逞而去，我亦未下大顧珊，複再衝殺10餘次，仍成對峙局麵。
第八十九師張雪中師長以連日圍攻大顧珊不下，乃親自督率五二九團作周密布置，並配屬炮七團集中炮火射擊。
五二九團團長羅芳圭，字建唐，清光緒三十三年十一月十六日（1907年12月20日）生，湖南衡山人，1927年陸軍軍官學校第四期畢業，1934年升任湯恩伯第十三軍王仲廉第八十九師第五二九團團長。1937年盧溝橋事變後，該團扼守南口，威震中外。湯恩伯軍長曾電羅芳圭稱：“貴團連日力挫強敵，已確立本軍未來全部勝利之基石，曷勝欣慰！南口陣地關係國家對日作戰之成敗，敵寇雖眾而凶頑，僅恃其優勢之炮火，而不能盡毀此一地帶。尤其吾人賴以抵抗強敵者為戰鬥精神，而非大兵與精良之武器，吾儕誓死決不離開陣地寸步。人生百年，終須一死，好漢死在陣頭上，即為軍人光榮之歸宿。請以此意轉告與吾儕同生死共患難之全體官兵，倍加努力，爭取勝利為盼！”①是役，羅芳圭率五二九團鎮守南口，血戰18日，光榮負傷，全團官兵傷亡2/3，立下了卓越戰功。此次大顧珊爭奪戰，羅芳圭臨危受命，拿出了當年南口之戰一往無前同敵人殊死戰鬥的精神，誓死率部衝鋒，並對其部下說：“今日戰，有進無退，男兒報國，此其時矣！願君為國而死，倘不達到任務，雖不死於敵，亦當自殺，後顧者必刃之。”①語畢即發起攻擊。
6日下午5時，羅芳圭與副團長李有於在大顧珊村外陣地指揮戰鬥，隱蔽在一間民房土牆後觀察敵情，準備率部夜襲敵陣，不幸被敵炮火擊中，頭部、胸部多處中彈，倒臥在血泊之中。部下聞訊，急來搶救，羅芳圭說：“你們不要管我，隻要不放棄這一道陣地……”話音剛落，便停止了呼吸。羅芳圭以身殉國，激勵了全團官兵殺敵複仇的決心，終於在7日上午10時拔除了敵人盤踞的大顧珊村寨，敵兵2000餘人，除少數竄逃外，大部被殲。
在4日發起總攻之時，關麟征率第五十二軍自洪山鎮向蘭陵之敵追擊。當夜收複蘭陵鎮。蘭陵鎮距台兒莊東北25公裏，自古以來是山東出產美酒的地方，唐代詩仙李白於天寶年間到過此地，為蘭陵美酒所陶醉，寫下了“蘭陵美酒鬱金香”的著名詩句，抗戰前蘭陵年產酒20萬，遠銷國外。避居山區的難民，獲悉蘭陵已為我軍收複，便紛紛返回家園。
5日，第五十二軍由蘭陵附近沿橋頭、甘露寺及由洪山附近沿孫樓、柳樹、王房莊、晁村一帶節節衝破敵陣，並進占底閣、楊樓之邊緣，造成合圍陣勢。底閣、楊樓有日軍3000餘人，以坦克掩護突圍，五十二軍以猛烈交叉火網封鎖出口，敵突圍不成改變計劃，增固材寨陣地，作死守打算。五十二軍組織敢死隊分批攻擊，摧毀敵陣，並發炮轟塌碉樓，嗣進入村寨巷戰，經反複衝殺肉搏，敵衝鋒兩次，均遭失敗。我反攻四次，犧牲巨大，最終將敵寨衝破，於6日大敗阪本支隊，收複底閣、楊樓，殲敵1300人，殘敵千餘向北退卻。
同日上午8時，湯恩伯軍團長電五十二軍關麟征軍長、七十五軍周碞軍長、八十五軍王仲廉軍長及五十七軍三三三旅王肇治旅長，發布作戰命令如下：
一、蘭陵鎮、洪山鎮一帶殘敵經我關軍連日圍擊，全部肅清，台莊東南一帶之敵經我孫集團及周、王兩軍三麵圍擊，已呈恐慌狀態，並有向北潰退之模樣，我孫桐萱軍已占領官橋，張軫師已占領獐山，張自忠軍一師已由臨沂南進堵擊，李仙洲軍本日由韓莊渡河向嶧縣挺進。
二、本軍團以攻擊該敵之目的，繼續向泥溝、北洛、台莊之線攻擊前進，迫敵於運河北岸一舉而殲滅之。
三、周軍應以一部鞏固岔河鎮東南、西南一帶高地之據點，主力繼續向蕭汪、東莊、台兒莊攻擊前進。
四、王軍（附六六五團欠第四師）應向低石橋、燕子井、岔路山、劉家湖繼續攻擊前進。
五、關軍（附騎兵四團）應以有力之一部鞏固洪山鎮、蘭陵鎮、向城一帶之據點，主力即刻開始經甘露寺、腰裏徐向泥溝、北洛之線攻擊前進。
六、周軍與王軍之戰鬥地境為馬甸、賀莊、耿莊、陳瓦房、邢家樓、五聖堂、馬家窯、台兒莊之線，線上屬周軍。王軍與關軍戰鬥地境為小良壁、朱莊、尋家莊、張樓、南洛之線，線上屬王軍。
七、第四師及三三三旅（欠一團）為預備隊，控製於四戶鎮附近。
八、餘在四戶鎮指揮所。①
正當湯軍團各部隊根據湯軍團長上述命令分區圍擊瀨穀支隊及阪本支隊，向敵後縱深突進，並取得全麵進展時，湯軍團長於6日奉到蔣介石5日12時手令：
限兩小時到，湯軍團長恩伯：0密。台兒莊附近會戰，我以十師之眾對師半之敵，曆時旬餘未獲戰果。該軍團居敵側背，態勢尤為有利，攻擊竟不奏效，其將何以自解？急應嚴督所部於六、七兩日奮勉圖攻殲滅此敵，毋負厚望。究竟有無把握，仰即具報為要。中0手啟。05.12。令一元。②
湯恩伯複電蔣介石，立下軍令狀：“本軍團今（6）日12時若到不了台兒莊，恩伯願受軍法處分。”消息傳到台兒莊前線，第二集團軍官兵“歡躍如狂，均枕戈以待，預作追擊之準備”。③
當日第八十五軍在北洛、泥溝方麵加緊攻擊瀨穀支隊，第七十五軍在蕭汪（台兒莊以東8公裏）圍攻阪本支隊。第五十二軍在底閣、楊樓大敗阪本支隊，從根本上解除了日軍對湯軍團側背及台兒莊東北方麵的威脅。接著第二十軍團全力向台棗支線之敵進迫，與據守台兒莊之第二集團軍協力，對瀨穀支隊等部形成內外夾攻之勢。下午3時，王仲廉軍長抵達第八十九師第二六七旅潭莊旅指揮所督戰，4時，王仲廉電話報告湯恩伯，日軍開始總崩潰。稍後，在前線督戰的關麟征，亦發現日軍退卻的跡象。於是，關、王兩軍長均命其所部乘勝猛攻退卻之敵。
6日下午3時半，瀨穀支隊長下令於當晚從台兒莊向北撤退。第十師團長磯穀接獲瀨穀支隊撤退的報告，即電話命令瀨穀支隊長“中止轉進”。但因該支隊人困馬乏，彈盡油絕，而湯軍團的潛行南下，如同猛虎下山，使瀨穀支隊全線發生動搖，而阪本支隊決定回返臨沂，瀨穀支隊長便抗命不遵，仍由六十三聯隊長赤柴指揮撤退。
同日夜，我軍開始全線總攻，湯軍團擔任台兒莊外包圍，孫集團負責正麵清掃。7日淩晨，我軍衝出台兒莊，向北追擊，殘敵向嶧縣、棗莊退走。台兒莊戰役勝利了！我軍殲敵萬餘，繳獲步槍萬餘支，輕重機槍931挺，步兵炮77門，戰車40輛，大炮50門。我軍傷亡3萬餘人。
台兒莊大捷，震驚中外，舉世矚目。這是我國抗戰以來取得的最重大的勝利。