5月11日，日軍步兵第28旅團攻占鄆城，荷澤暴露在這路日軍的進攻正麵。防守荷澤的國軍第23師師長李必蕃，感到敵情嚴重，嚴令第68旅組織反攻，奪回鄆城。
第68旅出發後，李必蕃親自帶領直屬隊前往增援。第68旅還沒有得到休整，加之日軍炮火異常猛烈。部隊多次組織反攻，仍然沒有奪回鄆城。李必蕃立即調整部署，把第67旅配置在荷澤左側，68旅部署在荷澤右側，嚴令全師各部隊抓緊時間做好戰鬥準備，死守荷澤。
6月12日，日軍第14師團南渡黃河以後，以一部兵力前進到內黃集附近，截斷了隴海鐵路。等於截斷了中國軍隊向西撤退的後路。
5月13日，日軍第13師團前進到徐州西南的永城，占據了徐州西南方向的有利地域，從西南麵包圍徐州。第9師團沿津浦鐵路前進，攻占了宿縣。南線日軍攻占永城、宿縣後，從南麵形成了對徐州的合圍態勢。
5月14日，日軍第28旅團，憑借化學武器和重炮的猛烈攻擊，突破了荷澤外圍陣地，把荷澤城四麵圍困起來。日軍攻城的炮火越來越猛烈，排炮幾乎沒有間隙，炮彈接二連三地落在中國軍隊陣地上。日本兵緊隨炮火衝上來，李必蕃師長一聲令下，官兵們一齊向日軍射擊，打得日寇東倒西歪。
在日軍一次接一次的炮擊中，荷澤防禦陣地被炸成了一片廢墟。部隊傷亡很大，有的連隊隻有幾名傷兵還堅守在陣地上。師參謀長黃啟東英勇殉國，劉冠雄團長也在戰鬥中犧牲。李必蕃師長在激戰中身負重傷。隨從副官急忙把李師長攙扶下來，組織直屬連殺出一條血路，突出重圍。
李必蕃從昏迷中醒來，得知荷澤被日軍攻占，悔恨交加，決定以一死來激勵將士繼續抗日。他吃力地取出一份地圖，寫下了“願我同胞，努力殺賊”的遺言，趁護理人員不注意，猛地舉起手槍，在自己頭上開了一槍，以身殉國了。
荷澤失守當天，日軍第14師團主力攻占曹縣，第16師團主力攻占金鄉。部署在這一地區的國軍，沒能阻止日軍的進攻，使徐州地區防線被日軍突破。
5月15日，沿津浦路北上的日軍第3師團攻占大營集以後，在第9師團左翼支隊的配合下，向徐州挺進。
在10天時間裏，南北兩路日軍完成了對徐州地區的合圍。這使蔣介石等人感到十分意外，他意識到在黃河與淮河之間的狹小平原地區，同裝備精良的日軍進行決戰，是不現實的。要消滅日軍，必須另謀他路。為了保存有生力量，5月15日，蔣介石下達命令：“避免決戰，撤離徐州。”
國軍60萬人的安全撤退，是一件很不容易的工作。5月16日，李宗仁根據蔣介石命令，下達了第五戰區各部隊脫離徐州戰場的命令：
劉汝明指揮第66軍，占據徐州有利地形，掩護各部隊撤出徐州戰場。第24集團軍留在蘇北。第69軍同海軍陸戰隊一起，在魯南、魯中地區開展遊擊戰。第五戰區主力部隊分成5路，分別向徐州西南方向突圍，向河南、安徽邊界山區撤退。
李宗仁部署完撤退任務後，心情格外沉重，數十萬部隊撤到桐柏山區，退到江南水網稻田地，進行遊擊戰爭，是否可行。
5月18日，李宗仁同白崇禧、劉斐等第五戰區長官部的人員一起，在第31軍和第7軍1個師的掩護下，從蕭縣以南地域突圍，向阜陽前進。一路上，日軍飛機不時臨空偵察。為免遭意外，李宗仁一行白天隱蔽，夜間行軍，在途中行軍7天7夜，終於到達阜陽。