這次戰鬥，是張自忠在七七事變以後，接替宋哲元任第五十九軍軍長以來所打的第一仗。他親自在前線指揮，官兵都很振奮。有一天，他去徐州向李宗仁報告作戰情況，回來時，在一個小車站上，有津浦路員工、地方各界人士及民眾多人，齊集車站歡迎，並公推代表要求張自忠發表對徐州會戰前途的感想。張自忠沉痛地說：“兄弟過去的一切，國人部諒解我，罵我是漢奸，這是兄弟終身所痛心的一個汙點。隻有留待事實來洗雪，現在是沒有話可說的。至於徐州會戰，我覺得完全有把握把敵人打敗！”聽眾頗為感動。
淮北之戰過後，張自忠軍奉戰區命令，將淮北陣地仍然交給於學忠軍。張自忠軍在魯南、徐州附近集結待命。
徐州以南地區的戰鬥，日軍損失達三四千人，中國軍隊取得了輝煌的戰績。這次勝利，除了中國軍隊的浴血奮戰之外，安徽北部民眾對軍隊給予了極大的支持。皖北人素稱強悍，英勇善戰，當地有句俗話說：“紙糊的江南，鐵打的皖北。”當日軍侵入淮河流域之際，皖北人民就自動組織起來，協助中國軍隊阻擊日軍，在定遠、明光等地，日軍都遭到了當地民眾武裝的襲擊，把日軍搞得像熱鍋上的螞蟻。這些武裝的民眾潛伏在城鎮中、村莊裏、山林間，日軍每到一村一鎮都會遭到他們的打擊。當時的紅槍會等武裝組織約有三千多人在皖北到處襲擊日軍，攪得日軍日夜不得安寧。
中國共產黨領導的抗日武裝在淮河流域的阻擊戰中也起了配合作用。在南京淪陷前不久，中共駐南京代表團就派李世農到安徽，組建中共皖中工委，動員和組織皖中各縣人民抗戰。1938年春，中共無為縣委領導的遊擊武裝就開始在淮南鐵路兩側進行遊擊活動。1938年初，中共中央從延安將張如屏、曹雲露等派回壽縣，成立中央安徽工作委員會，開展抗日遊擊活動。
1938年3月上旬，白崇禧奉命去徐州協助李宗仁作戰之前，曾請周恩來、葉劍英商談作戰方針。當時周恩來、葉劍英建議：津浦線南段應采取以運動戰為主、遊擊戰為輔的聯合行動，使日軍不敢貿然北上支援南下的日軍；徐州以北應采取陣地戰與運動戰相結合的方針，以達到穿插分割、各個擊破的目的。白崇禧對此建議非常讚賞，並在後來照此實行了。
中國共產黨領導的新四軍也積極配合淮河沿岸李宗仁的部隊，阻擊日軍北犯。新四軍一部曾遵照中央軍委指示，進入蚌埠、徐州、合肥三點之間作戰。周恩來曾指示新四軍配合李品仙集團軍，牽製由南京渡江北上的日軍。新四軍積極配合淮河正麵戰場的國民黨軍開展遊擊戰爭，成為全民族抗戰的一個重要組成部分，在抗戰史上寫下了光輝的一頁。
這次淮河血戰，雖然沒有把北犯的日軍全部殲滅，卻使日軍付出了巨大的代價，並將日軍遲滯於淮河一線，粉碎了日軍預定的“南北夾擊”的戰略，迫使日軍改取“南守北攻”戰略，從北麵取道山東，進攻滕縣和嶧縣，造成孤軍深入的局麵，從而為中國軍隊在台兒莊殲滅日軍造成了良好的戰機。
在津浦鐵路北段的中國軍隊，自從韓複榘被處決後，確實起到了震懾的作用，官兵們個個精神振奮，對上級指令不敢有絲毫怠慢。李宗仁命令孫桐萱率部向運河以西推進，襲取濟寧和汶上的日軍據點，牽製日軍主力。第二十二師在夜晚從大長溝渡過運河，兩天後的晚上，派一支小部隊攀登進入濟寧城，與日軍短兵相接，血戰三天，因力量懸殊，入城部隊傷亡極大，晚上撤到運河西岸。
與此同時，孫桐萱第十二軍第八十一師夜晚從開河鎮渡過運河，派一支部隊從城西北攻入汶上城內，與日軍進行激烈巷戰，由於人少勢弱，損失嚴重，也撤向運河西岸。
2月4日以後，日軍相繼攻陷安居鎮，突破杏花村陣地，守軍被迫撤退。李宗仁在相裏集、羊山集和巨野一線部署大量兵力，不斷側擊南下的日軍，使日軍在這一帶徘徊，不能南進，暫時穩住了戰局。
李宗仁化腐朽為神奇，調動“雜牌軍”的積極性。
日軍的西尾壽造中將，認為自己的第二軍在華北戰場，一直沒有機會充分地發揮戰功。第二軍進攻山東之後，韓複榘的部隊不戰而退，更使這支日軍相當焦躁與輕敵。後來，西尾壽造的部隊在山東一再受到中國軍隊反擊，遭到不少損失，自然怒不可遏，要進行報複。西尾手下的第五師團與第十師團，要求華北方麵軍司令官寺內壽一大將，允許他們向南進攻。寺內壽一同意第二軍進攻掃蕩的建議，也認為日軍不能畫地自限，因此，向大本營爭取到給予第五師團與第十師團攻擊魯南的許可。不過，大本營仍然劃出日軍南下的禁止線——不得超過臨城到臨沂的前線。
在2月下旬，板垣征四郎師團組成了阪本支隊，含步兵第二十一聯隊一個半大隊和山炮兵一個中隊，於2月21日從濰縣出發，進抵招賢鎮，當日下午向莒縣以北進攻，23日占領莒縣。同一天，板垣征四郎用片野支隊，即阪本順第二十一旅團片野定見大佐指揮的步兵第二十一聯隊，以及國崎登步兵第九旅團長野祐一郎大佐指揮的步兵第十一聯隊等部，加強阪本支隊，並命令該支隊向湯頭和臨沂進攻。日軍企圖牽製中國軍隊的兵力，協助津浦北段正麵的日軍進攻徐州。
劉斐當時判斷，日軍主力必然利用鐵路交通使用在津浦鐵路正麵，為了排除以後在鐵路正麵對日軍主力作戰時的側背威脅，決定先對臨沂方麵暴進的日軍予以各個擊破。
臨沂為魯西南軍事重鎮，徐州東北之屏障，第五戰區右翼的重要據點。它南通新安鎮，西南通台兒莊、棗莊和嶧縣，北通費縣和泗水，西北通蒙陰和新泰，東北通莒縣和諸城，東通日照，故臨沂得失牽動全局，為隴海、津浦、膠濟三大鐵路線安危所係。
麵對氣勢洶洶而來的板垣師團，李宗仁決定啟用剛剛轉隸第五戰區的第三軍團龐炳勳部擔負臨沂守備之重任。
時任第五戰區參謀長的徐祖詒對李宗仁的決定深感擔憂。徐認為，直指臨沂的日軍第五師團是一支侵華的王牌軍，用龐炳勳這張雜牌去對敵人的王牌，豈不是以卵擊石？
李宗仁不這麼看。他認為，在武器裝備上，中國軍隊是雜牌，麵對的日軍是王牌，可是在民心士氣上，中國軍隊難道不是王牌嗎？
李宗仁料定，日軍此時必然驕狂無比，要利用他們這種“驕兵必敗”的弱點，以中國軍隊可以運用的數萬哀兵與之周旋，拖垮它，打垮它！
這就是李宗仁獨特的治軍用兵之道。
龐炳勳，字更陳，河北新河人，1878年生。因其右腿在內戰中受傷致殘，外號“龐拐子”。曾由北洋軍轉隸於馮玉祥麾下。中原大戰反蔣失敗後，他的部隊被蔣介石改編為第四十軍。由於龐炳勳在數十年的軍閥混戰中機警善變，多有倒戈之事，故口碑不佳。
李宗仁在第一次接見龐炳勳並賦予其重任之時，在收取龐炳勳的人心上很下了一番工夫。
一開始，李宗仁就很誠懇地對龐炳勳說：“龐將軍久曆戎行，論年齡，你比我整整大一輪，你是光緒五年生的，我是光緒十七年生的；談資曆，你在第三鎮當兵，又入隨營學堂和東三省測量學校，在保安義勇團當了隊長，而光緒三十四年，我還在廣西陸軍小學讀書哩。因此，論年齡談資曆，你都是我的老大哥，我是小弟弟。我本來不應該指揮你，不過這次抗戰，在戰鬥序列上，我被列為第五戰區司令長官，擔任了一項比較重要的職務而已。所以，在公事言，我是司令長官，在私交言，我們是親如兄弟的戰友，不應該有什麼上下之分。”
李宗仁早知道龐炳勳是個非常圓滑不好對付的人，內戰中善於避重就輕，保存實力，這無人不知。但李宗仁有意不點破，語重心長地說：“龐軍團長，我今年四十七歲了，你已是花甲之年，我們為國犧牲也值得了，這樣才不愧作一個真正的有良心的軍人。俗話說，養兵千日，用兵一時，現在是我們為國效命的時候了。”
龐炳勳聽了李宗仁這番話，感動地說：“不管怎麼說，第三軍團已列為第五戰區建製，我一定聽從李長官調遣。……長官德威望重，我當部屬的，能在長官領導之下，為國家民族效力，天日在上，萬死不辭！”
收得了龐炳勳的人心後，李宗仁要為龐炳勳排憂解難。從龐炳勳的口中，李宗仁得知當時龐部雖為軍團編製，實際上隻轄五個團，約一萬三千多人，步槍八千支，手槍九百支，重機槍六十挺，輕機槍六百挺，迫擊炮六十門，山炮四門，戰馬三百匹。整個軍團就這麼一點點實力，中央不久前又有命令，要將龐炳勳把一個特務團歸並，共編為四個團。五個團都是足額的，中央要特務團歸並，歸並到哪裏去呢？無法歸並，隻有解散。軍政部的電令上寫得清清楚楚，說如果不遵令歸並，就要停發整個部隊的糧餉。這是第三軍團最大的難題。
李宗仁決定要解決這一問題。當著龐炳勳的麵，李宗仁立即給武漢軍委會白崇禧掛長途電話。在電話裏，他把龐炳勳的苦衷統統給白崇禧說了，請他馬上找蔣介石請示，要求軍政部收回成命，讓龐炳勳部維持現狀。軍政部很快回電：“奉委員長諭，龐部暫時維持現狀。”龐炳勳軍團的編製問題就是這樣順利解決了。
李宗仁一個電話，竟然保留了將要被解散的一個團！龐炳勳打了幾十年內戰，還從未碰上李宗仁這樣體恤部下的司令官，他激動得一把抓住李宗仁的手，老淚縱橫。
李宗仁馬上提筆給第五戰區兵站總監石化龍寫了個手令，要石總監盡量補充龐炳勳軍團的彈藥和裝備。
龐炳勳做夢也沒想到，他一來到第五戰區，不僅實力沒有被李宗仁吃掉，還保留了即將被遣散的一個補充團，又能領到大批彈藥和裝備，使自己的實力比以前大增，不禁感激涕零。他發誓一般地說道：“長官放心，我這次絕不因為一己之私利而保存實力，一定堅決執行命令，和日寇拚到底!”
李宗仁見時機已經成熟，便給龐炳勳正式下達命令：“我想請你率部固守臨沂重鎮，遏止南下的板垣師團。可是，那板垣師團乃是日軍中的王牌部隊，自侵華以來，先後犯我察、綏二省，現該部正在臨沂以北集結兵力，準備與磯穀師團齊頭並進，南犯徐州。板垣自恃裝備精良，極為驕橫，根本不把中國軍隊放在眼裏……”
龐炳勳忍不住打斷了李宗仁的話：“我這次到臨沂，就是要跟板垣師團拚老命的。盡管我早知道此人是個凶神，很會打仗，但是，我不怕他，隻要第三軍團還有人活著，臨沂就丟不了!”
李宗仁甚感欣慰。深信龐炳勳軍團在即將來臨的惡戰中定會有所作為。
板垣師團還沒有到達臨沂，就遭到龐炳勳軍團的打擊。
板垣師團在平型關一役被八路軍第一一五師重創，正是由於其輕敵冒進所致。有了這個教訓，板垣本應收斂其一向驕橫跋扈之氣，但他本性難移，急於以不俗戰績洗血恥辱，全然不把即將麵對的對手——龐炳勳之第三軍團放在眼裏。他得參謀長櫻田武大佐提醒他：“與我們對陣的是龐炳勳的第三軍團，大約有五個團的兵力。”
板垣不屑一顧地說：“龐炳勳，蔣介石手下的一支即將解散的雜牌軍，不堪一擊！”
“不過，他們的抵抗很厲害！” 櫻田武鼓起勇氣繼續提醒他， “據說，龐炳勳的士兵，多為中國滄縣一帶的男子。滄州古稱幽燕，民風剛強好鬥，龐炳勳也慣於驅使這些……”
“這是敵人的自我吹噓!”板垣驕橫地說：“任何好鬥的、頑強的支那軍隊，在我所率領的這支大日本皇軍的鐵軍麵前，他們充其量不過是一群任我捏、任我踩的螞蟻!”
板垣的輕敵和狂妄到了極點。這注定了他失敗的命運。
2月中旬，龐炳勳接到報告，有日軍的步兵和炮兵約兩千人，在沂水、諸城和莒縣一帶，與沈鴻烈的海軍陸戰隊和劉震東遊擊司令的部隊發生激戰。沈鴻烈和劉震東的部隊漸次不支，日軍有進逼臨沂的態勢。李宗仁電令龐炳勳派部隊支援，龐炳勳便命令第一一五旅旅長朱家麟率所部第二二九團及第二三零團，配屬兩門山炮，增援莒縣。
當時莒縣城防空虛，由沂水人劉震東的遊擊義勇隊守城。守城部隊隻有幾百人，有些士兵是臨時動員的當地青年，倉促成軍，訓練不足，實力薄弱。當正規軍還沒到達的時候，日軍就已經兵臨城下，劉震東力戰成仁。
朱家麟派副旅長黃書勳率領第二二九團為右翼，附山炮兩門，自己率領第二三零團為左翼，向莒縣前進。
2月26日，右翼邵恩三第二二九團的部分部隊，乘汽車到達莒縣，當即進城占領陣地，投入戰鬥。這時城內一片死寂，闃無一人。左翼第二三零團同時進駐莒縣城西一帶村莊，與城內部隊遙相呼應。
邵恩三團的劉振聲營長英勇善戰，率領部隊阻擊從北門突入的日軍，負傷後還率隊收複了北門。連長劉同盛陣亡。
第二天拂曉，一千多名日軍突然將莒縣城西和城北兩麵包圍，切斷朱家麟旅左翼與右翼的聯係，炮火異常猛烈。邵恩三左臂受傷，士兵傷亡慘重。邵恩三堅持在城上督戰，不下火線。戰鬥持續到下午兩點，才把日軍擊退。
半夜時分，日軍又大舉猛撲莒縣縣城，日軍一個班帶著一挺輕機槍，偷上城北西角，向城東南麵猛烈掃射，城內的邵恩三團頓時混亂，紛紛向南門撤退。這時候，副旅長黃書勳和邵恩三一起登上城南門，組織火力，命令堅決消滅偷襲城西北角的日軍，並命令炮兵從城東南角向西北角發射。部隊吹起了衝鋒號，與日軍白刃肉搏，終於將上城的日軍完全消滅。在這次戰鬥中，多印珩連繳獲日軍輕機槍一挺。軍部得到報告，獎勵大洋一百元。
中國軍隊在抗擊日軍的時候，敵前敵後的民眾紛紛組織宣傳隊，並自動捐獻勞軍。群眾送來雞鴨魚肉和蘿卜大蔥饅頭煎餅，還有鄉下老太太手提雞蛋送來勞軍。勞軍的群眾日以繼夜，部隊迎接不暇。群眾的愛國熱情令官兵們落淚。
前方傷亡的官兵很多，戰地民眾乘夜晚繞道崎嶇山路，把傷兵運到後方。江蘇北部宿遷、沭陽和山東南部的教師學生，組成戰地服務隊，共有王誌仁、劉大同、汪典等一百多人，除了做戰地宣傳工作，還抬傷員送彈藥。軍民合作成為一家人，目的隻有一個，就是為了抗戰勝利。
28日拂曉，日軍又從城東北角偷襲而上，逐漸向西麵和南麵延伸，邵恩三團組織反擊，但未能奏效。左翼第二三零團方麵，始終被日軍牽製，對莒縣城內策應不上。邵恩三堅決主張進行巷戰，與城共存亡。黃書勳則認為己方已經處於劣勢，徒逞意氣，無濟於事。於是，命令全部守軍從城南門撤退。由於白晝行動目標明顯，兩門山炮無法運出，經炮兵破壞後，遺棄城內。
邵恩三團從莒縣撤退，損失慘重，當天下午6點左右撤到莒縣西南十五公裏的夏莊，才與朱家麟和第二三零團會合。
3月1日，日軍又追到夏莊。朱家麟旅且戰且退，沿沭河兩岸，撤到相公莊一帶休整。這一仗共傷亡官兵五百多人，損失山炮兩門，步槍幾百支，估計日軍傷亡二百多人。
3月2日，朱家麟旅在相公莊休整。這時候，日軍從莒縣西南的夏莊和黃莊，向臨沂前進陣地湯頭逼進。第二天，日軍開始與守軍第一一六旅第二三二團接觸，戰況日趨緊張。日軍飛機每天轟炸幾次，又不停地用排炮轟擊，由坦克引導步兵向守軍陣地衝鋒。守軍英勇戰鬥，不怕犧牲，戰事持續了幾天。由於第二三二團傷亡過重，上級命令該團放棄湯頭，撤到後方整頓待命。
2月底，軍部接到報告，有一股日軍從蒙陰沿公路南下。軍部命令李振清的補充團迎擊這股日軍。
部隊出發前，李振清給軍部副官處長李鳳鳴打電話，請他幫忙派兩名司機，隨李振清團出發。李鳳鳴問道：“李團長，你要司機幹什麼？”李振清回答：“我要把日軍的汽車拉回來。”李鳳鳴手頭的司機不夠，但他還是設法把兩名司機交給了李振清團。
李振清團先頭部隊到達垛莊以南約二十公裏處時，發現有一百多名日軍，攜帶小炮一門，重機槍一挺，據村而守。入夜，李振清命令迫擊炮連向村內射出四十多發炮彈。日軍龜縮村內，始終不敢還擊。李振清對敵情不是十分清楚，隻派劉蘭洲連沿公路監視日軍，準備拂曉發起攻擊，沒想到日軍連夜逃到了垛莊。
第二天天亮後，李振清發現日軍已經逃走，立即下令追擊。中午追到垛莊，偵察到日軍在垛莊寨內據守。李振清命令第一營到垛莊以北四公裏的大石橋附近埋伏，阻擊日軍的援兵，防止日軍逃跑。又命令機動隊隊長蘇萬青率領一個班衝進垛莊外寨西門。
蘇萬青率隊衝到內寨南門時，日軍在寨門樓上布置機槍向他們掃射，立刻就有四五名士兵傷亡。蘇萬青急忙隱蔽在東邊門下，向寨樓上扔出幾顆手榴彈，趁煙霧彌漫跑出寨外，向李振清報告情況。
薄暮時分，李振清又命令蘇萬青帶領一個步兵排和一個手槍班，圍困南寨門，與日軍對擊一整夜。
第三天拂曉，李振清團調來山炮一門，對準南門猛射幾炮，將南門打開一個洞，能容一個人通過。接著，李振清命令第二營爬寨牆，第三營攻寨門，發動總攻。當第二營一部爬上寨牆時，突然飛來三架日軍飛機，低空盤旋，先投下信號袋一個，落在李振清團手中。袋子裏有一份文件，內容是派某小隊長率汽車六輛來接應。
日軍飛機投下信號袋以後，接著投下了幾顆炸彈。第二營營長潘鴻恩與一位姓杜的排長當即被炸死，另有幾名士兵被炸傷炸死。爬寨的部隊便撤了下來。
圍困延續到下午7點左右，果然有六輛日軍汽車，在兩輛戰車的掩護下，從蒙陰南下增援。日軍的援兵到達垛莊以北的大石橋附近，遭到預先埋伏在這裏的第一營襲擊。第一營炸毀了日軍的三輛汽車，繳獲一輛全新的六輪卡車，步槍九支，以及許多物資。打死打傷日軍幾十名。