徐州大會戰，實際上是徐州外圍戰。
5月5日，日軍從南麵和北麵同時向徐州夾擊，其戰略意圖是，先迂回徐州西側，再四麵包圍徐州。
徐州南麵戰場：日軍第9、第13師團從蚌埠沿北淝河、渦河西岸北進。第3師團從蚌埠出發，向大營集、宿縣進攻。
徐州北麵戰場：日軍第16師團從山東的濟寧渡過運河，向江蘇省的豐縣、碭山挺進。第14師團從河南省的淄陽縣南渡黃河後，向蘭考挺進。第10師團把韓莊、台兒莊地區的作戰任務交給第114師團接替，在夏鎮附近渡過微山湖，向江蘇省的沛縣進攻。
以上作戰目的一旦達成，日軍就完成了對徐州的四麵合圍，形成同中國軍隊主力進行決戰的態勢。
為了從四麵合圍徐州，日軍對這次進攻行動進行了精心的準備。進攻發起後，各部隊進展順利，會戰進程似乎是按照日軍單方麵製定的時間表推進的。
5月9日，日軍第16師團南下，向碭山、唐寨地區挺進，從西麵攻擊徐州。第14師團步兵第28旅團奉命從河南新鄉轉赴山東濟寧，向鄆城、菏澤等地發起進攻，掩護師團主力強渡黃河。
5月10日，日軍第9師團經蒙城、永城等地，向徐州西南地區進攻。當時，廖磊指揮的第21集團軍所屬第7、第48軍防守淮河中流地域。廖磊命令第171師師長楊俊昌帶一個團，扼守宿縣；命令第173師副師長周元率領一個團，扼守蒙城。日軍進攻蒙城時，周元遵照廖磊司令長官的命令，指揮2000多官兵拚死抵抗。激戰中，防守蒙城的中國軍隊除20多名士兵突圍外，周元副師長及其餘官兵全部壯烈犧牲。這路日軍16日逼近徐州。
5月11日下午，日軍步兵第28旅團在旅團長酒井隆少將的指揮下，攻占鄆城。鄆城失守，菏澤就暴露在這路日軍的進攻正麵了。防守菏澤的中國軍隊第23師師長李必蕃感到敵情嚴重，嚴令第68旅組織反攻，奪回鄆城。
第68旅出發後，李必蕃師長親自帶領師直屬隊前往增援。第68旅剛從前線撤退，沒有得到休整，加之日軍的炮火異常猛烈，部隊多次組織反攻，官兵遭受重大傷亡，仍然沒有奪回鄆城。李必蕃師長立即調整部署，把第67旅配置在菏澤左側，把第68旅部署在菏澤的右側，嚴令全師各部隊抓緊時間做好戰鬥準備，死守菏澤。李必蕃是湖南省嘉禾縣人，先後在長沙陸軍小學堂、武昌陸軍中學堂、保定陸軍軍官學校學習軍事，畢業後曾擔任團副、參謀主任等職。參加北伐戰爭中，戰功顯著，升任團長。1936年1月，任第23師少將師長。全麵抗戰開始以後，李必蕃率領部隊從臨潼出師抗日，在滄州作戰中，榮立戰功，受到嘉獎。第23師參加徐州會戰，李必蕃師長嚴陣以待，部隊官兵的抗日熱情高昂。
5月12日，日軍第14師團南渡黃河以後，迅速以一部兵力前進到內黃集附近，截斷了隴海鐵路。這等於截斷了中國軍隊向西撤退的後路。
5月13日，日軍第13師團前進至徐州西南的永城，占據了徐州西南方向的有利地域，從西南麵包圍徐州。第9師團沿津浦鐵路前進，攻占宿縣。南線日軍，攻占永城、宿縣以後，從南麵形成了對徐州的合圍態勢。
5月14日，日軍第28旅團憑借化學武器和重炮的猛烈攻擊，突破菏澤的外圍陣地，把菏澤城四麵圍困起來。
防守菏澤，又是一場血戰。
李必蕃指揮的第23師，有一支以工兵為主的骨幹隊伍，擅長防守，敢打硬仗。看到日軍猛烈的進攻，李必善知道菏澤已經是一座孤城了，守城的決心更加堅定。他對官兵們說：“我們無論如何都要堅守陣地，絕不能後退，不能再讓日本鬼子在中國的土地上狼奔豕突了。”
日軍攻城的炮火越來越猛烈，排炮幾乎沒有間隙，接二連三地落在中國軍隊的陣地上。日本鬼子衝上來了。李必蕃師長一聲令下，官兵們一齊向鬼子射擊，機槍噴出了一條火龍，打得鬼子東倒西歪。
在日軍一次接一次的炮擊中，菏澤的防禦陣地被炸成一片廢墟，村莊在燃燒，樹林在燃燒。部隊傷亡越來越大，有些排的官兵全部犧牲在抗日的陣地上，有的連隻有幾名傷兵還堅守在陣地上。