李宗仁為了使龐炳勳軍與張自忠軍能更好地協同作戰，特派戰區參謀長徐祖詒代表戰區司令長官去臨沂指導作戰。並致電龐炳勳：
臨沂為台、徐屏障，必須堅決保衛，拒敵前進。除已令張自忠部前往增援外，並派本部參謀長徐祖詒前往就近指揮。
龐炳勳接電後大喜。重新調整部署，縮短了戰線，以第一一五旅防守桃園至蔣家莊之線，以第一一六旅防守蔣家莊至黃山之線，以邵恩三團、李振清團及軍、師直屬隊為總預備隊，控製於臨沂城關地區，以第三十九師師長馬法五為前線總指揮。
3月11日，徐祖詒已經到達臨沂。他來到龐炳勳的軍團部，發現臨沂師範距離前線太近，日軍的炮彈不時呼嘯而至。他認為，軍團部應該立即撤到臨沂以南十公裏以外的傅家莊，以免影響參謀作業的心情，而且便於指揮。龐炳勳卻不以為然。他堅決地說：“如果我龐某臨危後退，前方士氣動搖，臨沂城就難保了。”
徐祖詒和龐炳勳意見分歧，請示李宗仁裁決，李宗仁尊重龐炳勳的意見，決定軍團部仍留在臨沂師範。
日軍從12日淩晨開始，用四門山炮開始向葛溝陣地轟擊。到上午9點，三架雙翼轟炸機從東北方向飛來，在守軍陣地上空盤旋兩周後，俯衝轟炸，共投彈二十多枚。爆炸聲震得地動山搖，樹枝攔腰折斷，村裏房屋被炸，土石散落在人身上，交通壕掩體被炸平了很多，老百姓的防空洞門幾乎都陷塌了。爆炸聲震得官兵們兩耳嗡嗡作響。
守軍部隊已經有三十個小時沒有吃上一頓飯了，一天一夜戰鬥下來，饑渴難忍。幾個留在村子裏的老百姓，自動地幫忙抬救傷員，燒茶水做飯。五十八歲的葛大娘，和快滿七十歲的王大爺，冒著槍林彈雨為官兵們送茶水，送幹糧和“糊塗”。糊塗是山東南部農民的一種主食，用高粱麵加煮紅苕，像稀飯。官兵們給他們錢物，他們堅持不收，還說：“老總們打日本，保衛我們家鄉，啥都能丟掉，俺老百姓燒點茶水，送點幹糧，能算得什麼？”
在飛機轟炸過後，日軍向李玉亭連發起了第七次衝鋒。經過兩個小時的激烈戰鬥，雙方都有重大傷亡。村口的陣地前，日軍倒下了一大片。李玉亭率領第三排去堵擊日軍時，被日軍擊中右腿。第三排奮力苦戰，擊退了日軍的這次進攻，使陣地化險為夷。
李玉亭負傷後，營長召集各排長宣布，任命李宗岱為代理連長，指揮第二連扼守陣地。接著，李振清打來電話，任命李宗岱為野戰補充團第二連上尉連長，並說：“一定要率全連官兵加強工事，固守陣地，堅決做到人在陣地在。”
當天下午1點，日軍又開始向李宗岱連進攻。這是第二連防守葛溝以來，日軍發起的第八次進攻。官兵們臨危不懼，沉著應戰，當天奮勇擊退了日軍的四次進攻，守住了陣地。經過了三天兩夜的鏖戰，官兵們極度疲勞，全連官兵傷亡過半，包括夥夫勤雜在內，還不到五十人，能夠直接戰鬥的僅有四十人左右。李宗岱對陣地和兵力重新調整了部署，用分散埋伏的戰鬥群（組）監視著村外日軍動態，日軍不進入有效射程決不射擊。
張自忠和參謀長張克俠率領第五十九軍黃維綱師的五個步兵團（沒有重武器），從嶧縣急行軍一個晝夜，於12日下午到達臨沂，暫時集結在臨沂城北的諸葛集一帶。稍後，張自忠軍主力全部抵達臨沂西郊，並集結完畢。從嶧縣至臨沂，相距九十公裏，張自忠軍隻用了一晝夜。正在與日軍激戰的龐炳勳的第三軍團官兵，忽聞張自忠大部隊趕到，陣地上頓時歡聲雷動，軍心大振。
其實，龐炳勳自得知戰區將派張自忠應援臨沂後，心中一直擔心他是否願意前來增援。
一幕幕不愉快的往事浮現在眼前。
那是1930年5月，蔣介石同馮玉祥、閻錫山之間的中原大戰正打得昏天黑地。當時，擔任反蔣軍第二路總指揮的龐炳勳，正率部與蔣軍激戰。
龐炳勳突然得知，一直坐山觀虎鬥的張學良率軍出關了，發來電文擁護蔣介石討伐馮玉祥，而且已經占領北平和天津。龐炳勳深感意外。反蔣軍的敗局已無可挽回了，龐炳勳不得不撤出戰鬥。
後來，蔣介石的特使來與龐炳勳密談，用金錢地位策反龐炳勳倒戈。龐炳勳在利誘麵前終於動搖了。而他反戈一擊的第一個目標，便是陣容整齊、訓練有素的友軍——張自忠的第六師。
深夜，龐炳勳的一個精銳團，悄悄地圍住了第六師師部。此刻，師部會議室燈光通明，毫無防備的張自忠正在召開團以上幹部的作戰會議。
龐炳勳部將張自忠的高級幹部團團包圍了。張自忠好不容易才殺出一條血路而逃。
張自忠從此發誓，“此仇不報，我張自忠誓不為人!”
此刻，龐炳勳想起這段往事，悔恨當初鬼迷心竅，反戈相向，同室操戈，現在想想真對不起張自忠。如今張自忠來了，不要說他老弟會報一箭之仇，就是按兵不動，自己今天也死無葬身之地了。
不過，龐炳勳轉念一想，在長城抗戰中，他和張自忠曾並肩作戰，一個防守羅文峪，另一個防守喜峰口，都打出了西北軍的威風。他想，在抗戰的重要關頭，張自忠應該不會和他再鬧個人意氣。
第五戰區參謀長徐祖詒在第四十軍軍部召集龐炳勳軍團和張自忠軍的高級人員開會。正在沉思中的龐炳勳，遠遠看到身軀高大的張自忠走向自己的指揮所，心中高懸了幾天的石頭終於落了地。他又吃驚又感動，急忙迎上前去，久久握住張自忠的手。兩人相視，默然良久，數年積怨，頃刻冰釋。
張自忠到達的時候，正值黃昏，前線正打得激烈，日軍的炮彈從臨沂師範上空飛過，機槍聲也清晰可聞。兩位將軍卻十分鎮定，絲毫沒有把日軍的炮彈放在心上。
龐炳勳說：“藎忱老弟來得正好，你看這裏多熱鬧！”接著又說：“上午徐參謀長還問我有多少預備隊，我的部隊都在前線傷亡殆盡。現在補充團擔任九曲店附近的作戰，連我的警衛都增援到第一線，再有就是我了。不過我決心在臨沂保衛戰中和敵人拚到底。”
張自忠聽了，笑了起來，從容地說：“大哥你放心，我決心盡力幫你打贏這一仗!”
龐炳勳神情為之一振，隨即風趣地說：“老弟呀，人家說你要在北平當漢奸，我才不相信呢。記得我們在北平和宋明軒曾通電全國：‘寧為戰死鬼，不做亡國奴。’我了解你的為人，所以我大為放心。”
張自忠開懷大笑：“今天倒是要他們看看，我張自忠是不是漢奸？”
接著，大家坐下來，在聯席作戰會議上商討作戰計劃。第三軍團參謀長王庾吾做了敵情簡報之後，龐炳勳要求張自忠接替城防，但張自忠根據第五十九軍在河北省同日軍作戰的經驗，主張與其坐待日軍進攻，不如主動出擊，在城外采取野戰，向攻城的日軍側背出擊，以攻為守，並表示願意承擔主攻。他對龐炳勳說：“在一般情況下，五十九軍以急行軍到此，非常疲勞，似宜稍作休息，再與敵人作戰。但兵貴神速和出敵不意，且我以劣勢裝備，對現代化之強敵，必須利用夜戰、近戰，方可奏效。應打破常規，提前開始行動。在敵攻勢之下，貴軍可以徐徐後撤，誘敵深入，把敵人的右側翼暴露在中國軍隊的正麵，這樣有利於中國軍隊的攻擊。”徐祖詒深以為是，並與張自忠商定14日拂曉發起攻擊。統一認識後，由徐祖詒以第五戰區司令長官的名義於13日下達了作戰命令。主要內容為：
(1)五十九軍以一部確占石家屯一帶高地，向葛溝、白塔間分途側擊，牽製敵人之增援；主力由船流至大、小薑莊間渡河，向南旋回，與四十軍呼應，包圍殲滅敵之主力於相公莊、東莊屯、亭子頭以南地區。在高裏附近之陸戰隊暫歸指揮。
(2)四十軍以主力由沂河東岸與五十九軍呼應，包圍敵之主力殲滅之；在沂河西岸之一部，渡河側擊尤家莊附近之敵。
(3)兩軍作戰地境(略)。
(4)以上各部著於13日晚準備完，14日拂曉開始攻擊。
會後，張自忠回到軍部，召集兩師營長以上的官長會議。他首先說明了敵我情況：“龐軍自穆陵關戰鬥以來，與敵拚搏，累經消耗，現隻有一個完整旅守城，其餘各部戰鬥力很弱。敵人板垣師團，是日本陸軍的精銳部隊，自侵華以來，先後犯我察、綏兩省，占領太原，僅在平型關戰役中為我郝夢齡軍和第十八集團軍消滅一部，基本未受大的打擊。現在該部部署在臨沂城北至湯頭一線，兵力近萬人。敵人自恃裝備精良，極為驕橫。”
接著，張自忠號召廣大官兵要大膽、謹慎，要敢於藐視日軍。他指出：“我軍在喜峰口、北平、天津、淮北等地，已先後和日軍交戰多次。隻要我們能充分發揚我軍善於近戰、夜戰的長處，根據現有條件，集中使用輕重武器，就一定能夠打敗這個驕橫不可一世的板垣，為中國軍隊爭氣，為中華民族爭光，以盡到我們軍人保國衛民的天職。即使戰死疆場，也是雖死猶榮。”最後，他要求各部隊嚴守紀律，密切與當地百姓的關係，合力打擊日軍。要求各營營長回去加強部隊整備，向全體官兵講明情況，鼓舞士氣。
“鐵軍”遇到打鐵漢，中國軍隊獲得第一次臨沂大捷。
3月13日拂曉，日軍炮兵向葛溝陣地附近轟擊十多分鍾，接著有兩百多名步兵第九次向守軍第二連發起攻擊。守軍等到日軍進入有效火網內，迅猛向日軍反擊，日軍丟下兩具屍體，向後撤退。守軍繳獲三八式步槍兩支。
上午8點，日軍步兵在炮火支援下，又氣勢洶洶地從東北角向守軍葛溝陣地進攻。李宗岱用電話向李振清報告了情況，請求派部隊增援葛溝。李振清斬釘截鐵地回答：“現在沒有人來增援你們，不管有多大的犧牲，也要堅守到今天晚上。第五十九軍第一八零師李文田部，昨夜已渡過沂河，正向敵側翼包圍前進中。”
這時，一個士兵跑來報告：“東北角陣地已被敵炮火摧毀，王排長負傷，正在陣地指揮弟兄反擊。”
李宗岱放下電話後，左手拔出手槍，右手提著大刀，躍出掩蔽部，大聲疾呼：“弟兄們，快跟我上！”這時，連火夫也拿起了槍。李宗岱領著十二名戰士，跑步來到東北角被日軍炮火摧毀的位置，與奮勇固守在陣地的官兵們一起同日軍展開了肉搏戰。守軍憑借地形熟悉，個個勇敢善戰，前赴後繼，奮不顧身，擊退了日軍的進攻。
剛剛殺退東北角的日軍，又接到報告，日軍從西北角衝開了一個缺口。李宗岱立即帶著身邊僅有的幾名預備隊員，飛奔到西北角的缺口，與日軍展開搏鬥。守軍勢單力薄，日軍像潮水一般湧進了村口，雙方展開了拉鋸戰。守軍利用牆邊屋角斷垣，與日軍爭奪寸地。
血戰持續到下午3點，李宗岱連傷亡人數不斷增加，戰鬥經過十分慘烈。一排長徐安邦中彈身亡，二班長趙學義和五班長張連三等多人身負重傷，日軍繼續向李宗岱連逼近。
4點左右，日軍飛機在陣地上空盤旋偵察兩周，五十多名日軍步兵再次向東北角發起攻擊。三排長楊永貴攜手榴彈率眾向日軍直衝過去，雙方短兵相接，將日軍擊潰。
這時候，又有三架日軍飛機飛到陣地上空，朝西北方向飛去。不久，從西偏北方向傳來槍炮聲，經久不息。這是張自忠的第五十九軍與日軍接火了。一陣激烈的槍炮聲響起後，日軍機槍向李宗岱連的陣地輪番掃射，迫近陣地的日軍一邊射擊，一邊向後撤退。李宗岱馬上把全連幸存的二十九名士兵重新編組部署，配合右翼部隊戰鬥，肅清當麵的日軍。入夜，李振清給李宗岱打來電話，嘉獎第二連勝利完成扼守葛溝要地的任務，並說軍長已報請李宗仁長官獎勵。他命令第二連於拂曉前轉移到白莊附近地區整補待命。
原來，從這一天下午起，張自忠軍已經開始向日軍進攻。張自忠以黃維綱師附野炮第一營為軍的左縱隊，於13日下午4點出發，先以一個營占領茶葉山，掩護師主力在石家屯、劉家湖、釣魚台地區向東展開，師部設在小安子。該師以李九思第一一三旅和李金鎮第一一二旅為攻擊隊，進攻張家莊、白塔、沙嶺一帶的日軍，以董升堂第一一四旅為預備隊，集中在劉家湖附近待命。該師務必於14日淩晨4點強渡沂河，向當麵的日軍進攻。劉振三師附山炮第一營為軍的右縱隊，於13日下午4點半出發，經宋王莊、北十裏堡、謝家宅到達邵雙湖集結，師部設在邵雙湖。該師以張宗衡第二十六旅擔任攻擊隊，左接黃維綱師沙嶺子，右至柳杭頭一線，進攻郭太平、徐太平、亭子頭一帶的日軍，祁光遠第三十九旅為預備隊，隨師部位於中安靜附近。該師務必於14日淩晨4點強渡沂河。對其右翼柳杭頭，要特別警戒，兩師要密切協同。軍部在進攻開始時位於朱潘村。軍部直屬隊隨黃維綱師前進。
第四十軍的第三十九師以第一一五旅與張自忠軍協同，向日軍後方兵站尤家莊的日軍側擊，以第一一七旅向東、西旺一帶的日軍進攻。由於友軍增援，士氣鼓舞，第四十軍從右翼甘屯寇屯向日軍側背攻擊，獲得大量的糧彈輜重。固守九曲店的補充團也采取攻勢。日軍主力已被擊潰，無心戀戰，紛紛後退。中國軍隊乘勝追擊，斬獲極多。
14日淩晨3點左右，張自忠軍強渡寬一百多米、水深及膝的沂河，向日軍板垣師團發動猛烈進攻。一時間，槍炮大作，地動山搖。張自忠率軍部推進至朱潘，就近指揮作戰。當記者請他預測戰役勝負時，他坦率地說：“這次攻擊是成功，還是失敗，現在沒有把握。板垣的部隊實力很強。不過我將盡全力去做，以求良心之所安。”
左縱隊黃維綱師渡河後，以李九思旅為左翼攻擊隊，令趙金鵬團渡河向湯坊涯等處進擊。另以一個營占領郝沂宅子及茶葉山高地，掩護師主力的進攻。李金鎮旅全力攻擊日軍沙嶺子主陣地，並與右翼劉振三師取得聯係。董升堂旅為預備隊，在劉家湖集結待命，隨時準備策應第一線作戰。另派一個營同軍部騎兵營在茶葉山後石家屯，對新河村與玉平村嚴密警戒，以防日軍迂回。黃維綱師一路衝殺，連克日軍堅固陣地四五處。但板垣師團確實是日軍精銳，他們迅速停止了對龐炳勳部的攻擊，轉而全力向黃維綱師反撲，雙方展開混戰。往來幾個回合，黃維綱師傷亡四百多人，被迫退回沂河西岸。張自忠震怒之下，當即將擔任主攻的李金鎮撤職，命新兵團團長升任第一二二旅旅長，並令其準備再次渡河攻擊。
右翼劉振三師渡河後，以張宗衡旅為主攻隊，命令崔振倫的第六七八團主攻亭子頭，並派隊伍與左翼黃維綱師聯係。張文海的第六七六團一部，對柳杭頭實行警戒，隨時準備消滅該方麵的日軍。其餘為預備隊，在大薑村待命。祁光遠旅為師預備隊，位於中安靜附近，隨時準備策應第一線作戰。
崔振倫團以邢炳南的第二營在右，以範紹楨的第一營在左，由亭子頭西、北兩麵插進村裏，當即與日軍展開肉搏戰。亭子頭在沂河東岸，有舊式炮樓五座，當夜就被範紹楨營攻下了三座，還有村北的兩座沒有攻下。這時軍部下令：不惜任何犧牲，務須迅速攻下。崔振倫命令炮兵摧毀這兩座炮樓。但是，軍中隻有很舊的上海造山炮，沒有瞄準器，對炮樓射擊沒有把握。情況緊急，炮兵隻好擺脫操作規定，將兩門山炮拆卸開來，用人力運到沂河西岸的薑家村，在民房裏架設起來，在牆上挖鑿炮眼，以三百米射擊距離，向兩座炮樓直射。用了十多發炮彈，就將兩座炮樓轟塌了。這時，全團火力集中射擊，步兵乘勢衝鋒，將大部分日軍殲滅。這種發射炮彈的方法，為當時戰史上所少見。在這次戰鬥中，一位炮兵排長受重傷，仍繼續指揮作戰。炮兵在近距離內作戰，致使不少人受到槍傷，這也是戰史上所罕見的。
日軍出動增援部隊與崔振倫團展開激烈爭奪，陣地失而複得者數次。崔振倫團的兩營官兵傷亡極大，仍不顧一切，勇敢地向日軍陣地衝鋒，逐院爭奪，戰況激烈。在這次戰鬥中，崔振倫團充分發揮了善於近戰的特長，經過奮戰，以傷亡八百餘人的代價將日軍擊退。戰鬥到下午4點左右，日軍七八百人被崔振倫團消滅過半，無力支撐下去，隻好向郭太平、徐太平逃竄。崔振倫率領預備隊段逢源的第三營乘勝猛追。
日軍逃到太平後，利用民房頑抗，增援的日軍也不斷開來。這時，張宗衡命令張海文率領兩營兵力趕到，擊退增援的日軍，協同崔振倫擴大戰果。戰鬥到15日，張宗衡旅先後收複日軍占領的徐太平、郭太平、大太平等六七個村莊，並就地構築工事，與日軍對戰。
在兩晝夜的戰鬥中，劉振三師傷亡團附以下至排長軍官三四十名，士兵近千名。
左翼黃維綱師第二二五團主攻湯坊涯等地，經一晝夜激戰，占領湯坊涯等村莊。日軍龜縮湯頭待援。15日淩晨4點，日軍集中炮火，向第一一二旅陣地猛轟，並有十多架飛機助戰，低空掃射。12點，日軍步兵向陣地撲過來。第一一二旅將兩個炮兵營及各團的迫擊炮集中起來向日軍猛射，經過反複爭奪，終於將日軍擊潰。日軍紛紛向白塔方向退去。第一一二旅占領了柳杭頭。
楊幹三的第二二七團攻打茶葉山。日軍在山下構築了一道防禦工事，山半腰有個小廟，是日軍的第二道防線。山頂有個大堡壘，日軍駐有一個中隊。楊幹三知道這座山易守難攻，先用野炮和迫擊炮集中向小廟轟擊，然後轉向山頂開炮，部隊即向山腳日軍的陣地猛撲。經過激烈戰鬥，攻破山腳日軍陣地，才將半山小廟拿下。天明後，日軍由將小廟奪去。楊幹三團部隊退下來時，受到很大損失。14日夜間，楊幹山團又將小廟奪回。為了占領這座小山，除了楊幹三團以外，張文海第二二三團和第二二四團都用上了。這三個團負出了傷亡很大的代價，才將小廟保住。最後攻占山頂時，朱春芳第二二六團也參加了戰鬥。17日拂曉前，才將茶葉山全部收複。過去日軍逃跑的情況比較少見，但這次日軍丟下了很多屍體。
劉文修的第二二八團主攻劉家湖。劉家湖是日軍的補給點，存儲軍用品很多。日軍以有力部隊守衛。劉文修先派一個偵察排潛入村內，破壞交通，襲擊日軍指揮部。由於日軍輕視中國軍隊，夜間隻派遊動崗哨，其餘的人都睡大覺，所以偵察排順利的潛入進去了。劉文修又派一個營擔任主攻。部隊向村內猛撲時，日軍猝不及防，亂成一片，紛紛退集村子北部的炮樓裏負隅頑抗。劉文修命令各營用迫擊炮、槍榴彈和手榴彈逐院集中轟擊。師部又調趙金鵬第二二五團增援，歸劉文修指揮。最後，日軍退到西北角上的一個院落裏。劉文修集中兩團兵力，向日軍猛撲，到第四天的夜裏3點鍾，大部分日軍都被消滅，殘部向湯頭退去。