日軍遭到頑強的阻擊，便退回馮家窯。時過不久，日軍又組織力量，先用炮轟，接著步兵進攻，又遭到頑強阻擊，再次潰退到馮家窯。日軍經過四次衝鋒，一直到黃昏以後，都未能突破展莊陣地。這一天的戰鬥，守軍打死打傷日軍四百多人。守軍因憑借工事，傷亡較少。
入夜之後，張宗衡去展莊視察陣地，決定將村外陣地上的守軍一律撤到村內，利用房屋圍牆掩護據守，並以火力封鎖村外間隙。當夜，守軍又加固了陣地。
12日早晨，日軍向展莊炮擊。他們先以猛烈的炮火向展莊陣地轟擊，並拋射燒夷彈，使展莊到處起火。接著，日軍的步兵利用麥田隱蔽，秘密向守軍迫近。他們接受了前一天的教訓，變得非常謹慎，從馮家窯到王莊，分成多路，隱蔽前進。中午時分，日軍先頭部隊與守軍接觸，隨後各路日軍全部向展莊撲來。守軍第六七六團及第六七八團的兩個營投入戰鬥，戰況激烈。雙方在村內外互相爭奪衝殺。到下午，日軍又增援幾百人，凶猛地向守軍進攻。天黑前，日軍占領了展莊東半部，守軍仍然據守著西半部。雙方在村內展開巷戰。
劉振三得知展莊的情況，便向張自忠報告。張自忠嚴令他把原陣地奪回。他馬上派祁光遠旅劉照華團前往增援。又命令張宗衡絕對不許放棄原占陣地，要求他收複展莊東半部。張宗衡親自到第一線重新做了部署和調整，派出五個營的兵力，在村內與日軍爭奪，以兩個營在村外策應。劉振三也奉張自忠的命令到張宗衡旅督戰。
13日拂曉，張宗衡帶領特務連到火線指揮，讓該連也投入戰鬥，連長受了重傷。村中戰鬥於早晨7點開始，官兵們先用手榴彈向院內猛投，然後再從挖好的牆洞中衝進日軍占據的院落，消滅了院內的日軍。各營、連都按院落分配任務。這種打法出乎日軍的意料，使他們十分被動。中國軍隊勇氣倍增，村內外七個營一起參戰夾攻，迫使日軍全部撤出展莊，向馮家窯退去。展莊戰鬥，中國軍隊傷亡官兵六七百人，其中營、連、排長二十多人。估計日軍自進攻到撤退，傷亡不下一千人。
第二天，從早晨到中午，日軍連續兩次發起攻擊，都沒能攻下守軍陣地。下午兩點，日軍將步兵炮推進到距離展莊幾百米的地方，首先將展莊東北角的圍牆轟倒，又將碉樓上層摧毀，一千多名步兵在炮火掩護下，蜂擁而上，向守軍猛撲。正在這時，張自忠和劉振三騎馬來到前方視察，張宗衡將展莊的戰況向他們報告。經張自忠同意，從左翼杜清嶺團抽調一營兵力，輕裝猛攻日軍的右側背。同時命令旅部特務連（該連有輕機槍十六挺）經由展莊東凹道接近日軍。當麵的日軍，在守軍三麵夾擊之下，死傷遍野，狼狽逃竄。張自忠對張宗衡旅艱苦奮戰的精神，非常讚許。
日軍撤退後，張自忠和劉振三慰問第一線的官兵，鼓舞大家的士氣，並下令呈報作戰有功人員，妥善掩埋陣亡將士，樹立標誌。他們視察過後，前線部隊一律構築堅固的野戰工事，以防日軍偷襲。
4月15日黃昏後，日軍突然改變了不打夜戰的常規，分成幾十小股，強迫當地老百姓帶路，潛伏在守軍前後左右駐地的村外麥田裏，先將守軍的電話線剪斷，緊接著向各村守軍部隊和劉振三師師部同時發起夜襲，前後左右一片喊聲和槍聲。守軍各部都與師部失去了聯絡，各村守軍各自為戰，加上早築有工事可以憑借，並未慌亂。到夜裏12點左右，日軍見守軍毫未動搖，便自動撤了回去。
4月16日淩晨，濃霧彌天，守軍正等待日軍來進攻，得到報告說，日軍已乘霧向郯城逃去。張宗衡旅清掃戰場，繳獲三八式步槍三百多支，輕機槍十多挺，燒夷彈炮四門，戰刀十多把，呢子大衣一百多件。日軍遺屍兩百多具。守軍將這些屍體集中埋葬。
4月底，張自忠軍奉命將防地交給樊崧甫的第四十六軍，調往徐州西南臥牛山及其以南地區集結待命。在交接防過程中，樊崧甫軍各部隊長對張自忠軍作戰陣地構築極感欽佩，十分讚揚工事的堅固和官兵挖工事的艱苦精神。
在此期間，龐炳勳軍團和張自忠軍堅守了很久了臨沂城，於4月19日落到了日軍手中。
這一天，日軍飛機用重磅炸彈炸塌了臨沂西門城牆，日軍從這個缺口攻進城內。第四十軍劉富生第二三四團的守軍，因彈盡糧絕，無力支持，於是從西門大街向南門撤退，並與日軍進行巷戰，最後從南門撤出。幾百名傷兵，寧死不做俘虜，在南關美國醫院包紮後，全部衝出院牆，乘夜疏散到城郊麥田裏。
在最後的臨沂保衛戰中，劉富生團傷亡一千多人，臨沂保安團也傷亡幾百人。張裏元專員率領保安團撤出臨沂後，轉入山區。第四十軍奉命調到沛縣休整，並對微山湖警戒。於是全軍以第三十九師邵恩三團為後衛，在碼頭掩護部隊渡河，到四月底全軍運輸完畢。
日軍進城後，逢人便殺，沒有來得及撤走的傷兵都被日軍殺害了。西門裏大街天主教堂門口幾百名想進教堂避難的無辜市民，都死在日軍機槍掃射之下，慘狀令人不忍目睹。日軍逐家搜索，一天之內就殺害市民兩千多人。
裕仁天皇一改初衷，下令發動大規模的徐州作戰。
日軍在台兒莊戰役失敗後，日軍大本營硬著頭皮說：“這不是一個敗仗，隻是指揮官的一次小小的失誤，第五師團和第十師團的餘部不是潰敗逃跑，而是做新的戰略轉移。”但是，日本政府卻惱羞成怒，立刻召開緊急會議，認為日本政府不能蒙受如此的羞辱。這次會議，改變日軍大本營的初衷。
在此之前，裕仁天皇曾在2月16日的禦前會議上說：“在８月以前絕不向新地區發動進攻。”但是，台兒莊的慘敗使裕仁改變了主意。日軍大本營已經不再顧忌戰略上深入與分散的問題，認為日軍必須立刻設法擊敗中國軍隊，以挽回“皇軍無敵”的聲譽。裕仁天皇立即決定：迅速向中國大規模增加兵力，發動更大的進攻，誓報台兒莊慘敗之仇。
日軍統帥部深知徐州不可輕取，非調集重兵，四麵合圍，否則斷難打通津浦鐵路。4月間，侵華日軍華北方麵軍和華中派遣軍自北平、天津、山西、綏遠、江蘇、安徽一帶，糾集了十三個精銳師團，約三十萬軍隊，其中包括從台兒莊撤退後經過補充和休整的磯穀師團和板垣師團，並配有各種重武器和幾百架飛機，兵分六路，對徐州形成大包圍，采取南北對進，側翼迂回的戰術，企圖圍殲雲集在徐州一帶的第五戰區主力。
4月7日，台兒莊戰鬥剛結束，日軍前線指揮官電告大本營：徐州地區聚集著中國軍隊的強大集團，據可靠情報，該集團包括約五十個師，六十餘萬人，幾乎全部為蔣介石的精銳部隊。
日本陸軍部頓時驚喜若狂，認為這是報台兒莊之仇的一次難得的戰機。
陸軍大臣杉山元當即向天皇報告，強烈主張發動徐州會戰。他說：“對於集中在徐州方麵的中國軍隊予以痛擊，可以收到挫傷敵軍抗戰意誌的巨大效果。因而，陸軍準備實施對徐州的殲滅作戰。由於該敵差不多是中國軍隊的精銳主力，並且已經處於孤立狀態，我軍應不失時機，以大的兵力，以大的規模會戰，一舉徹底殲滅該敵。本職認為，隻要達到了殲滅這股敵軍的戰略企圖，就能使武力解決中國事變，促使蔣政權屈服投降，邁出決定性的一步，亦可挽回我軍在台兒莊的不良影響。”
裕仁天皇見報，頓時喜出望外，認為這是刹住蔣介石正在進行的台兒莊勝利大宣傳的囂張氣焰的大好良機，當即定案：圍殲徐州中國軍隊，並要求陸軍此次進攻，定要取得巨大戰果，不使徐州地區五十個師的中國軍隊一人漏網，務求全殲。
為求速戰速決，不失這千載難逢的良機，日軍大本營於當天向華北方麵軍總司令官寺內壽一大將、華中派遣軍總司令官畑俊六大將下達第八十四號命令：
一、華北方麵軍司令官應以有力之一部擊破徐州附近之敵，占據蘭封以東隴海線以北之地區。
二、華中派遣軍司令官應以一部占據徐州以南津浦線附近。
日軍大本營在動員華北方麵軍、華中派遣軍的主力投入這場戰鬥的同時，還下令關東軍派部隊支持。由於華北方麵軍司令官寺內壽一大將與華中派遣軍畑俊六大將的官銜相同，誰也不會接受對方的指揮，因此，隻好緊急派遣大本營陸軍參謀本部的作戰部長橋本群少將，率領參謀本部的參謀軍官，在濟南成立大本營派遣班，組織包括華北與華中日軍在內的參謀軍官，進行徐州會戰的作戰協調工作。
日軍大本營於4月7日下達攻占徐州的命令以後，日本華北方麵軍馬上根據這個命令，於4月10日製訂了徐州作戰的指導方案，把徐州會戰分為三期：
第一期為準備階段，主要是給第二軍補充兵力，將第一一四師團（欠一個大隊）、第十六師團、坦克第二大隊、野戰重炮兵第三聯隊和第六聯隊、後備步兵第一大隊、獨立工兵聯隊等部配屬給第二軍。同時與華中派遣軍製定協同方案，要求華中派遣軍由江陰向西北推進，把中國軍隊牽製在徐州以南。
第二期為徐州外圍作戰階段。這一階段以突然襲擊的方式發起進攻，以一部兵力由微山湖西側南下，迅速占領徐州西麵和西南麵地區，與華中派遣軍合圍徐州；另以一部兵力（約一個師團）在蘭封（蘭考）至範縣一帶渡過黃河，切斷蘭封以東隴海線和鄭州以南的平漢線。
第三期為總攻徐州階段，攻占徐州，並相機攻占開封和鄭州。
日軍的兵力編成為：
華北方麵軍西尾壽造第二軍：板垣征四郎第五師團，磯穀廉介第十師團，藤江惠輔第十六師團，末鬆茂治第一一四師團，秦雅尚獨立混成第五旅團，田村元一混成第三旅團，吉澤忠勇混成第十三旅團，以及配屬部隊。
畑俊六華中派遣軍：藤田進第三師團，稻葉四郎第六師團，吉住良輔第九師團，荻洲立兵第十三師團，伊東正喜第一零一師團，岩仲挺進隊（戰車第一大隊）。
日軍決定用華北方麵軍的四個師團向隴海沿線進攻，封鎖蘭封以東地區，切斷中國軍隊退路，以主力南下，進攻徐州。日本華中派遣軍從南麵策應華北方麵軍作戰。他們企圖一舉消滅中國軍隊主力，占領徐州要地和津浦鐵路全線。
日軍以藤江惠輔第十六師團、末鬆茂治第一一四師團增援北線的板垣征四郎第五師團和磯穀廉介第十師團，沿津浦路向南推進，以引誘中國軍隊主力；以土肥原賢二第十四師團從濮陽渡過黃河，進入山東西南與河南東部，切斷隴海鐵路，從而阻遏支援徐州的中國軍隊，切斷徐州守軍的退路；以荻洲立兵第十三師團在南線的蚌埠、懷遠間集結；以稻葉四郎第六師團和吉住良輔第九師團向鳳陽、合肥進逼；以伊東正喜第一零一師團向江蘇北部攻擊。
4月12日，日本華北方麵軍下達攻占徐州作戰的預備命令，同時將末鬆第一一四師團的四個大隊和藤江第十六師團的一個大隊配屬給磯穀第十師團，彌補磯穀師團在台兒莊戰役中的損失，以恢複戰鬥力。磯穀師團得到加強後，將原擔任警備任務的長瀨支隊（以步兵第三十九聯隊和第四十聯隊為基幹）替換下來參加徐州作戰。4月中旬，長瀨支隊集結於棗莊地區，瀨穀支隊集結於嶧縣東南，阪本支隊集結於嶧縣東北。
4月17日，華北方麵軍西尾壽造第二軍下達攻占徐州的作戰命令。
18日拂曉，阪本支隊和瀨穀支隊開始行動。當晚，瀨穀支隊推進到太平莊南北一線。
19日，阪本支隊進入向城，長瀨支隊推進到蘭陵鎮以西地區。
20日黎明，阪本支隊從向城向泥溝地區進攻，遇到頑強抵抗，無進展，損失很大。
長瀨支隊24日進入肖汪附近，26日占領胡山，27日占領禹王山，在此遇到頑強抵抗，無進展。
同一天，第二軍將草場辰己少將指揮的步兵第二十聯隊、野炮兵第二十二聯隊第一大隊配屬給磯穀師團。
板垣師團在進攻臨沂受阻後，第二軍於4月7日將獨立混成第五旅團的步兵第十七大隊和第二十大隊，末鬆師團的步兵第一五零聯隊第一大隊，配屬給板垣師團。板垣師團將上述部隊用於警備，替下步兵第四十一聯隊和第四十二聯隊，增援臨沂。
4月16日下午，板垣師團以國崎支隊，即國崎登少將指揮的步兵第九旅團司令部、步兵第十四聯隊（欠四個中隊）、步兵第四十二聯隊（欠一個大隊、兩個中隊）、野炮兵第五聯隊第二大隊和第三大隊（欠一個中隊）、工兵第五聯隊（欠兩個中隊）、輜重兵一個中隊（欠一個小隊），對臨沂再次發起進攻，19日占領臨沂。
接著，國崎支隊派先遣隊沿臨沂、郯城大道向馬頭鎮進攻，主力22日從臨沂出發，當晚進抵大埠，24日占領郯城和馬頭鎮。
26日夜，該支隊進至北勞溝附近時，遇到頑強抵抗，連同以前的戰鬥，損失兵力百分之六十到百分之七十五。
4月27日至5月3日，日本第二軍將步兵第一五零聯隊一個大隊，大槻部隊，即步兵第三十八聯隊第三大隊（欠一個中隊）、野炮兵一個中隊，以及片桐支隊，即第九聯隊長片桐護郎指揮本聯隊（缺三個大隊）和野炮兵一個大隊，配屬給板垣師團。板垣師團命令片桐支隊指揮大槻部隊，於5月8日從郯城出發，向飲馬莊前進，10日進入北湖頭，此時片桐支隊複歸藤江師團指揮（不含大槻部隊，大槻部隊配屬給國崎支隊，國崎支隊從5月1日至9日死傷一千四百零一人）。5月6日，磯穀師團給國崎支隊補充兵員一千一百六十一名，國崎支隊戰鬥力才得以恢複。國崎支隊得到加強後，於5月10日再次向北勞溝發起進攻，第二天占領該地。
磯穀師團指揮的阪本支隊自4月22日至5月5日在泥溝受阻始終不能前進。6日，第二軍將該支隊劃歸板垣師團指揮（獨立輕裝甲車第十二中隊、野戰重炮兵第一中隊、步兵第十一聯隊主力、野炮兵第五聯隊本部及該聯隊的第四大隊轉屬國崎支隊）。
5月10日，日軍大本營根據徐州戰況，命令關東軍派遣混成第三旅團計四千九百人、混成第十三旅團計五千二百人入關，歸華北方麵軍指揮，寺內壽一將這兩個旅團配屬第二軍。同一天，華北方麵軍將平山支隊（中國駐屯步兵三個大隊、山炮兵一個中隊）、酒井支隊配屬第二軍，第二軍將其配屬藤江師團。
5月7日，第二軍下達向徐州進擊的行動命令。根據命令，藤江師團於5月9日從山東濟寧南下，當晚進入胡家集以北，11日推進到金鄉地區。13日，藤江師團編成今田支隊（戰車第二大隊長今田大佐指揮戰車第二大隊、野炮兵一個中隊、工兵一個小隊為基幹），並令該支隊於14日從今鄉出發，沿魚台以東、豐縣以西向汪閣前進，於15日早晨推進到汪閣附近，炸毀隴海鐵路三處，切斷隴海線。17日，今田支隊編製撤消。藤江師團主力占領金鄉後，繼續南下，5月19日占領九裏山。酒井支隊於5月11日占領鄆城，13日占領柳林集，15日推進到成武東南地區，後歸還土肥原師團指揮。
磯穀師團主力5月14日集結於臨城附近，15日夜西渡微山湖，16日占領湖西地區。同一天，日本華北方麵軍下達圍攻徐州的命令，磯穀師團根據命令，迅速南下，19日推進到徐州以北六公裏。國崎支隊、阪本支隊和西條支隊（西條支隊指揮步兵第四十聯隊、野炮兵一個大隊）也同時逼近徐州。
牛島貞雄中將指揮的第八師團主力19日進入雙溝地區，20日進入貢山集，21日進入瞳集。
末鬆師團的奧部隊，即步兵第一零二聯隊主力，步兵第一一五聯隊（缺第三大隊），步兵第六十六聯隊第三大隊主力，炮兵聯隊主力，以及工兵聯隊主力，從嶧縣地區向徐州攻擊前進，21日晚到達徐州附近。
在徐州北麵，日本第一軍的土肥原賢二第十四師團在5月11日從濮縣地區南渡黃河，派出一支部隊，在內黃集附近截斷了隴海鐵路交通線。然後向歸德（開封）方向進擊，24日占領蘭封。
在日本華北方麵軍各師團南攻的同時，日本華中派遣軍於5月5日開始攻占徐州的作戰。在此之前，華中派遣軍已向東向北推進，至5月上旬，稻葉第六師團進抵巢縣、廬州（合肥）地區；伊東第一零一師團佐藤支隊，即佐藤正三郎指揮的五個步兵大隊、一個野炮兵大隊，進抵阜寧地區；吉住第九師團進抵北肥河左岸，荻洲第十三師團進抵永城以南，牛島第八師團進抵蚌埠和懷遠一線。
從5月5日起，華中派遣軍各師團一齊向前攻擊。稻葉師團以阪井支隊，即步兵第十三聯隊、騎兵第六聯隊和野炮兵第六聯隊第三大隊，由巢縣向西南方向進擊，5月13日推進到廬州東南地區。伊東師團以佐藤支隊由南而北向阜寧進攻，於5月7日攻占該地後集結待命。吉住師團沿北肥河左岸推進，5月10日進抵板橋集。荻洲師團從渦河西岸向蒙城推進，5月9日占領蒙城，13日，會同吉住師團推進到百善和永城附近。吉住師團第三十五聯隊主力由百善北進，18日占領蕭縣。藤田進第三師團於17日渡過澮河，19日占領宿縣。
荻洲師團5月15日由永城北進，17日占領霸王山，19日上午進入徐州。
徐州大突圍是中國抗戰史上輝煌的一筆。
在中國方麵，中國軍隊在臨沂和台兒莊獲得勝利之後，大大刺激了蔣介石求勝的欲望。蔣介石為擴大台兒莊勝利成果，采取與日軍針鋒相對的方針。
自從臨沂大捷之後，從3月下旬起，蔣介石便從各戰區調集大批軍隊，使第五戰區的兵力由二十九個師增加到六十四個師又三個旅，共達六十萬人。同時，還將中央軍胡宗南的第一軍、黃傑的第八軍、桂永清的第二十七軍、俞濟時的第七十四軍和宋希濂的第七十八軍等部布置在河南東部，作為徐州的後援力量，試圖在徐州與日軍一決雌雄。