古城方麵，日軍趁38師主力他調，再次反撲。混戰至深夜，古城西部被敵奪占。張自忠飛騎趕到，組織反攻，官兵們見軍長來到，士氣振奮，一鼓作氣將敵擊退。張自忠隨後又趕到桃園、三官廟方麵督戰。日軍調集重兵攻擊桃園，並出動飛機轟炸，38師殊死抵抗，傷亡高達2000多人。目睹親如手足的弟兄們死傷相繼，血肉橫飛，張自忠痛徹肺腑，不禁潸然淚下。
鑒於敵軍源源增兵，張自忠審時度勢，決定將戰線收縮於王家岔河、七得、紅埠寺、古城之線，並建議龐軍收縮至黃山、趙家莊、九曲店之線。
28日，日軍的攻勢更加凶猛，戰事空前慘烈，59軍陣地八麵告急。
隨著戰鬥的延續，戰局日趨嚴峻，不斷增加的傷亡和持續半個多月的血戰，使官兵們在體力和精神上都大受影響，依靠他們自身的意誌幾乎難以支持下去。這對於張自忠無疑是一個極大的考驗。如果他不能使官兵們振作起來，恢複士氣，那麼奮戰十幾個晝夜的成果將付諸東流，後果不堪設想。
在如此巨大的壓力下，張自忠表現了非凡的勇氣和堅強的意誌。他馬不停蹄地奔波於各個陣地，給官兵打氣，與官兵們一起戰鬥。他那鏗鏘有力、充滿激情的訓話，身先士卒、英勇無畏的氣概和百發百中的射擊，都給官兵們以巨大感染，重新點燃了他們內心的希望之火和勝利信心。
在張自忠的訓勉激勵之下，張宗衡率領官兵咬牙苦撐，殊死拚殺。日軍在炮火掩護下兩度衝入村內，該部以肉搏戰將敵擊退。日軍再次猛攻，守軍傷亡奇重，彈藥用盡，眼看陣地就要失守。就在這千鈞一發之際，張自忠飛馬趕到。危急中的官兵，看到軍長身騎白馬的雄姿，頓時激情奮發，土氣陡增，揮舞大刀向日軍衝鋒，終於打退日軍，守住了陣地。
29日，援軍20軍團騎兵團和57軍333旅先後到達臨沂。
30日，張自忠下令反攻，日軍抵擋不住，向東北撤退。第二次臨沂戰役勝利結束。
短短2個月之內，張自忠指揮59軍連續取得三個戰役的勝利。2月的淮河作戰，將華中日軍阻於淮河以南，打破了南北兩路日軍夾攻徐州的計劃。兩次臨沂戰役的勝利，又進一步斬斷了北路日軍的左臂，粉碎了敵第5、第10師團會師台兒莊的計劃，造成磯穀廉介第10師團孤軍深入為我圍殲的契機，從而為台兒莊大捷拉開了序幕。
3月30日，軍事委員會軍令部致電李宗仁指出：“張軍堅忍抗戰，斃敵累累，希傳諭慰勉。”同一天，國民政府以張自忠建樹奇功，特頒令撤銷對他的“撤職查辦”處分。這樣，張自忠就由59軍代理軍長而成為名副其實的軍長。
4月上旬，第一集團軍番號撤銷，集團軍直轄部隊分撥張自忠、馮治安、劉汝明、石友三各部。其中59軍分得姚景川之騎兵第13旅。至此，原29軍部隊完全被拆散，宋哲元將軍專任第一戰區副司令長官。
4月8日，姚旅及中央軍李仙洲第92軍第13師開抵臨沂，歸張自忠指揮。
4月13日，張自忠升任第27軍團軍團長，轄第59軍和第92軍。
中國軍隊在臨沂和台兒莊的勝利，大大刺激了蔣介石、李宗仁等人的求勝欲望。
從3月下旬起，他們又陸續調集20多萬精銳部隊向徐州地區集結，與第五戰區原有部隊合計達64個師又3個旅，總兵力不下60萬。同時，還將中央軍胡宗南、黃傑、桂永清、俞濟時、宋希濂等部布置於豫東，作為徐州的後援力量，擺出了與敵決一死戰的架勢。日軍利用中國軍隊急於求勝的心理，調集13個師團30萬兵力，於5月中旬將徐州包圍。被圍之中國軍隊雖數量龐大，但態勢不利，在心理與士氣上也處於劣勢；若不及時突圍，後果不堪設想。
5月15日，蔣介石在武漢主持召開最高軍事會議，決定放棄徐州。第五戰區據此決定將所屬部隊分三路，從日軍兵力薄弱的西南麵向豫皖邊界山區突圍。李宗仁指定張自忠指揮第59軍和第21、27、139師等部殿後，掩護大軍撤退，完成任務後開赴許昌集結。
張自忠又一次麵臨嚴峻考驗。
自淮河作戰似來，59軍已連續作戰三個月，全軍5個旅隻剩下不到兩個旅，急需撤出戰場進行整補。因此，以屢擔巨艱、傷亡慘重的59軍承擔殿後重任，確屬勉為其難。但張自忠毫不遲疑地接受了任務。
至5月17日，戰區主力部隊陸續脫離戰場。18日，張自忠才命令各掩護部隊放棄當麵陣地，開始撤退。他讓21、27、139師先行，自己率領59軍殿後。