在張自忠的訓勉激勵之下，張宗衡率領官兵咬牙苦撐，殊死拚殺。日軍在炮火掩護下兩度衝入村內，該部以肉搏戰將敵擊退。日軍再次猛攻，守軍傷亡奇重，彈藥用盡，眼看陣地就要失守。就在這千鈞一發之際，張自忠飛馬趕到。危急中的官兵，看到軍長身騎白馬的雄姿，頓時激情奮發，土氣陡增，揮舞大刀向日軍衝鋒，終於打退日軍，守住了陣地。
29日，援軍20軍團騎兵團和57軍333旅先後到達臨沂。
30日，張自忠下令反攻，日軍抵擋不住，向東北撤退。第二次臨沂戰役勝利結束。
短短2個月之內，張自忠指揮59軍連續取得3個戰役的勝利。2月的淮河作戰，將華中日軍阻於淮河以南，打破了南北兩路日軍夾攻徐州的計劃。兩次臨沂戰役的勝利，又進一步斬斷了北路日軍的左臂，粉碎了敵第5、第10師團會師台兒莊的計劃，造成磯穀廉介第10師團孤軍深入為我圍殲的契機，從而為台兒莊大捷拉開了序幕。
3月30日，軍事委員會軍令部致電李宗仁指出：“張軍堅忍抗戰，斃敵累累，希傳諭慰勉。”同一天，國民政府以張自忠建樹奇功，特頒令撤銷對他的“撤職查辦”處分。這樣，張自忠就由59軍代理軍長而成為名副其實的軍長。
4月上旬，第一集團軍番號撤銷，集團軍直轄部隊分撥張自忠、馮治安、劉汝明、石友三各部。其中59軍分得姚景川之騎兵第13旅。至此，原29軍部隊完全被拆散，宋哲元將軍專任第一戰區副司令長官。
4月8日，姚旅及中央軍李仙洲第92軍第13師開抵臨沂，歸張自忠指揮。
4月13日，張自忠升任第27軍團軍團長，轄第59軍和第92軍。
中國軍隊在臨沂和台兒莊的勝利，大大刺激了蔣介石、李宗仁等人的求勝欲望。
從3月下旬起，他們又陸續調集20多萬精銳部隊向徐州地區集結，與第五戰區原有部隊合計達64個師又3個旅，總兵力不下60萬。同時，還將中央軍胡宗南、黃傑、桂永清、俞濟時、宋希濂等部布置於豫東，作為徐州的後援力量，擺出了與敵決一死戰的架勢。日軍利用中國軍隊急於求勝的心理，調集13個師團30萬兵力，於5月中旬將徐州包圍。被圍之中國軍隊雖數量龐大，但態勢不利，在心理與士氣上也處於劣勢；若不及時突圍，後果不堪設想。
5月15日，蔣介石在武漢主持召開最高軍事會議，決定放棄徐州。第五戰區據此決定將所屬部隊分3路，從日軍兵力薄弱的西南麵向豫皖邊界山區突圍。李宗仁指定張自忠指揮第59軍和第21、27、139師等部殿後，掩護大軍撤退，完成任務後開赴許昌集結。
張自忠又一次麵臨嚴峻考驗。
自淮河作戰以來，59軍已連續作戰3個月，全軍5個旅隻剩下不到兩個旅，急需撤出戰場進行整補。因此，以屢擔巨艱、傷亡慘重的59軍承擔殿後重任，確屬勉為其難。但張自忠毫不遲疑地接受了任務。
至5月17日，戰區主力部隊陸續脫離戰場。18日，張自忠才命令各掩護部隊放棄當麵陣地，開始撤退。他讓21、27、139師先行，自己率領59軍殿後。
19日上午，日軍占領徐州。
經過千裏跋涉，59軍終於6月1日抵達許昌。
日軍占領徐州後，繼續向華中推進，企圖一舉攻取武漢，迫使中國政府屈服。
武漢扼南北交通要衝，素有“九省通衢”之稱，是華中地區的政治、經濟、交通中心，得失關係重大。蔣介石親自坐鎮武漢，指揮5、9兩個戰區共100多個師和海空軍各一部，組織防禦，一場大戰勢不可免。
6月11日，規模空前的武漢會戰正式打響。
戰至8月底，長江以北日軍攻占六安、霍山，並向固始、潢川推進。9月初，代理五戰區司令長官的白崇禧急調張自忠部開赴潢川布防，阻敵西進，要求張部守衛潢川至9月18日，以掩護胡宗南等部在信陽、武勝關等地集結。
就在張自忠揮師東進之際，固始已於9月6日失守，日軍第10師團沿固潢公路直撲豫南潢川。
時間太緊了，59軍必須搶在日軍之前趕到潢川。但是，這些北方子弟不適應鄂東豫南陰霾潮濕的氣候，加之連日強行軍，官兵們身體抵抗力銳減，患惡性瘧疾者日多。由於藥品匱乏，每日都有數十名官兵死亡。張自忠焦急萬分，卻毫無辦法。軍情緊急，使他不得不狠下心來，嚴令部隊不顧一切向潢川疾進。
15日，日軍攻克潢川西北之息縣城，並繼續向羅山方向進犯，企圖切斷59軍退路。
15日中午，日軍騎兵突襲59軍軍部。保衛軍部的隻有一個手槍營，情況萬分危急，有人建議軍部南移，但張自忠不為所動。此時如移動軍部不僅影響士氣，而且將失去守城部隊唯一退路。張自忠一麵指揮手槍營抗擊來襲之敵，一麵調集部隊增援，激戰半天，終將敵騎兵打退。
日軍屢攻屢挫，惱羞成怒，竟慘無人道地施放毒瓦斯，導致我官兵大量傷亡。16日晨，七裏崗陣地失守，日軍開始攻擊潢川城。緊急關頭，張自忠力排眾議，帶領180師師長劉振三和軍部毅然進入潢川城，守城官兵士氣為之大振。