三是日本最高軍事當局受台兒莊戰役失敗的影響，對中國軍隊的戰鬥力進行新的評估，認為徐州不可能輕易取得，必須調集重兵，四麵合圍，才能打通津浦鐵路，攻占徐州。
四是台兒莊作戰失敗後，一些軍官萌發了報複中國軍隊的心理。
出於以上考慮，日軍統帥部對徐州地區的軍事態勢作了新的判斷，對北平、天津、山西、江蘇、安徽等地日軍的作戰任務重新進行調整，抽出第14、第16、第114師團，命令這3個師團向徐州地區運動，配備各種重武器，調遣數百架飛機，進行徐州作戰，打通津浦路。
4月3日，日軍大本營研究了進行徐州作戰的可能性。
4月7日，日軍大本營下達了組織徐州作戰的命令。陸軍部根據上述命令，製定了《徐州附近作戰指導要領案》。其基本作戰意圖是：徐州作戰，華北方麵軍和華中派遣軍聯合組織實施，以華北方麵軍為主，華中派遣軍配合華北方麵軍作戰。作戰開始後，主力兵團向西迂回，從側後保衛徐州，殲滅中國軍隊第5戰區主力。其任務區分主要是：
華北方麵軍第5、第10、第14、第16師團向開封以東行動，攻占隴海鐵路沿線以北地域；主力南下，進攻徐州；用2個師團向蘭考、商丘方向進攻，切斷中國軍隊向西的退路。
華中派遣軍第9、第13師團在徐州以南行動，占領徐州以南的津浦路和合肥地區，從南麵策應華北方麵軍進攻徐州。
4月中旬，“日軍大本營派遣班”進入中國，在濟南設立指揮機構。這個派遣班由參謀部作戰部部長橋本群少將率領，主要任務是協調徐州南、北日軍兩大兵團的作戰行動。4月17日和18日，日軍在濟南召開了參謀工作會議，華北方麵軍和華中派遣軍有關人員在會上明確了兩軍進行徐州作戰的有關事宜。由此可見，日軍大本營對徐州作戰是多麼重視。
4月18日，日軍發起了新的攻勢。
日軍第5師團遭到中國軍隊沉重打擊以後，稍經補充休整，以步兵第9旅團為骨幹組成國崎支隊，從臨沂西北的義堂地區南進。第10師團分成3路縱隊，從薛城、嶧縣、向城之間60公裏的正麵上向南攻擊前進，對中國守軍進行牽製性進攻。第16師團的草場支隊擔任第10師團的預備隊，片桐支隊擔任第5師團的預備隊。中國軍隊第2集團軍，第20、第3軍團，第27軍團第59師奮起抗擊。日軍每前進一步，都受到中國軍隊的沉重打擊，進攻遲緩，到月底，這路日軍仍被阻止在韓莊、邳縣、郯城一線地域。
日軍新的進攻，催促中國軍隊作出新的作戰部署。徐州戰場有64個師，這不是一支小部隊。這些部隊如何部署，蔣介石並沒有作出詳細計劃。作戰廳長劉斐曾向蔣介石建議，山東南部的中國軍隊應該以機動防禦為主。在作戰指導上，除以一部分軍隊同日軍保持接觸外，主力應集結在便於機動的地區，相機打擊日軍；運河沿線要有中國軍隊防守；徐州以西地區，要控製強大的戰略預備隊，以便應付突然發生的各種情況。但是，這些建議沒有被采納。
第5戰區司令長官李宗仁對徐州周圍集結重兵有不同看法。李宗仁認為：“我方在徐州一帶平原，聚集大軍數十萬人，正是敵方機械化部隊和空軍的最好對象”。李宗仁還指出：“以我軍的裝備，隻可相機利用地形條件，與敵人作運動戰。”
從以上分析看，蔣介石集團雖然決定在徐州同日軍決戰，但沒有形成一個完整的決戰方案，數十萬部隊匆忙調往徐州地區，倉促防禦，許多帶兵打仗的將領對總的作戰意圖不明了，這是導致後來徐州會戰失利的一個陰影。
李宗仁經過反複考慮，決定把其中21個軍編為5個兵團。這些兵團是：
淮南兵團：李品仙任司令員，編有3個軍的部隊。
淮北兵團：廖磊任司令員，編有4個軍的部隊。
魯南兵團：孫連仲任司令員，編有9個軍的部隊。
隴海兵團：湯恩伯任司令員，編有3個軍的部隊。
蘇北兵團：韓德勤任司令員，編有2個軍的部隊。
一場數十萬軍隊參加的大會戰開始了。