日軍抵擋不住59軍的猛烈打擊，丟棄陣地，向南麵蘇集、胡家口、曹老集一線潰退。19日59軍又拿下日軍在淮河北岸最堅固的防禦要地小蚌埠。日軍見勢不妙，狼狽退守淮河南岸。中日兩軍遂在淮河一線隔河對峙。
張自忠回軍後首戰告捷，一舉扭轉淮河戰局，使華中日軍北上打通津浦路的企圖遭到失敗，日軍南北夾擊徐州、台兒莊的計劃至此已破產一半。
3月12日下午，59軍主力全部抵達臨沂西郊。
正在與日軍激戰的第3軍團官兵，忽聞張自忠大部隊趕到，陣地上頓時歡聲雷動，軍心大振。
13日上午，張自忠召集全軍營以上幹部作戰前動員。
14日淩晨3時許，59軍強渡沂河，向日軍第五師團發動猛烈進攻。一時間，槍炮大作，地動山搖。張自忠率軍部推進至朱潘，就近指揮作戰。
經過奮戰，180師以傷亡800餘人的代價將敵擊退。15日一早，該師乘勝向前推進，日軍陣腳混亂，向東西水湖涯潰退。
由於日軍將主力用於對付59軍，龐炳勳部正麵日軍兵力大減。龐炳勳抓住有利戰機，率部猛襲日軍側背，有力地配合了59軍的正麵攻擊。
經過3天的浴血鏖戰，59軍傷亡3000多人。
16日夜10時，59軍向敵發起空前猛烈的攻擊，拚殺至17日淩晨4時，59軍勝利攻克日軍全部主陣地。
隨後，來自各方麵的祝捷電報如雪片似飛來，但張自忠並未陶醉在勝利之中，當天他就下令發起追擊作戰。
第一次臨沂戰役至此結束。
3月22日晨，59軍到達費縣縣城。這時李宗仁來電，命59軍停止前進，原地待命。張自忠估計臨沂戰局有變，即派偵察隊速返臨沂了解情況。
果不出張自忠所料。連日來，被張自忠打得一籌莫展的阪垣征四郎，突聞張自忠部他調，欣喜若狂，連忙糾集殘部、調派援軍，向臨沂發起猖狂反攻。龐炳勳以疲憊之師孤軍應戰，隻有招架之功，幾無還手之力，被迫退守臨沂以東，並頻頻發出求援的急電。
蔣介石獲知臨沂戰局緊急，即於23日致電張自忠，命59軍速返臨沂。
連日來，59軍官兵都沉浸在對死去戰友的懷念之中，心情十分沉重；加之往返奔波，備極辛勞，官兵們對於戰區朝令夕改的不當指揮頗有怨言。為安撫軍心，鼓舞士氣，張自忠先後到180師和38師訓話。
當晚10時，59軍以強行軍回返臨沂。此時，全軍可戰之兵僅有13萬人。
24日下午，張自忠進入臨沂城。
當晚，黃維綱之38師連夜出動，以迅雷不及掩耳之勢發起攻擊，占領古城，殲敵甚多，並繳獲大批戰利品。次日，日軍大舉反撲，激戰終日，38師才將敵擊退。但臨沂以東龐軍主陣地三官廟、桃園均告失守，九曲店也岌岌可危。張自忠急令38師主力前往救援，一舉收複桃園，並將三官廟包圍。但由於龐軍在此地築有堅固工事，現反為敵用，我軍久攻不下，傷亡慘重。戰場上死屍如壘，沙石橫飛。
張自忠危城苦撐。古城方麵，日軍趁38師主力他調，再次反撲。混戰至深夜，古城西部被敵奪占。張自忠飛騎趕到，組織反攻，官兵們見軍長來到，士氣振奮，一鼓作氣將敵擊退。張自忠隨後又趕到桃園、三官廟方麵督戰。日軍調集重兵攻擊桃園，並出動飛機轟炸，38師殊死抵抗，傷亡高達2000多人。目睹親如手足的弟兄們死傷相繼，血肉橫飛，張自忠痛徹肺腑，不禁潸然淚下。
鑒於敵軍源源增兵，張自忠審時度勢，決定將戰線收縮於王家岔河、七得、紅埠寺、古城之線，並建議龐軍收縮至黃山、趙家莊、九曲店之線。
28日，日軍的攻勢更加凶猛，戰事空前慘烈，59軍陣地八麵告急。
隨著戰鬥的延續，戰局日趨嚴峻，不斷增加的傷亡和持續半個多月的血戰，使官兵們在體力和精神上都大受影響，依靠他們自身的意誌幾乎難以支持下去。這對於張自忠無疑是一個極大的考驗。如果他不能使官兵們振作起來，恢複士氣，那麼奮戰十幾個晝夜的成果將付諸東流，後果不堪設想。
在如此巨大的壓力下，張自忠表現了非凡的勇氣和堅強的意誌。他馬不停蹄地奔波於各個陣地，給官兵打氣，與官兵們一起戰鬥。他那鏗鏘有力、充滿激情的訓話，身先士卒、英勇無畏的氣概和百發百中的射擊，都給官兵們以巨大感染，重新點燃了他們內心的希望之火和勝利信心。
在張自忠的訓勉激勵之下，張宗衡率領官兵咬牙苦撐，殊死拚殺。日軍在炮火掩護下兩度衝入村內，該部以肉搏戰將敵擊退。日軍再次猛攻，守軍傷亡奇重，彈藥用盡，眼看陣地就要失守。就在這千鈞一發之際，張自忠飛馬趕到。危急中的官兵，看到軍長身騎白馬的雄姿，頓時激情奮發，土氣陡增，揮舞大刀向日軍衝鋒，終於打退日軍，守住了陣地。
29日，援軍20軍團騎兵團和57軍333旅先後到達臨沂。
30日，張自忠下令反攻，日軍抵擋不住，向東北撤退。第二次臨沂戰役勝利結束。
短短2個月之內，張自忠指揮59軍連續取得三個戰役的勝利。2月的淮河作戰，將華中日軍阻於淮河以南，打破了南北兩路日軍夾攻徐州的計劃。兩次臨沂戰役的勝利，又進一步斬斷了北路日軍的左臂，粉碎了敵第5、第10師團會師台兒莊的計劃，造成磯穀廉介第10師團孤軍深入為我圍殲的契機，從而為台兒莊大捷拉開了序幕。
3月30日，軍事委員會軍令部致電李宗仁指出：“張軍堅忍抗戰，斃敵累累，希傳諭慰勉。”同一天，國民政府以張自忠建樹奇功，特頒令撤銷對他的“撤職查辦”處分。這樣，張自忠就由59軍代理軍長而成為名副其實的軍長。
4月上旬，第一集團軍番號撤銷，集團軍直轄部隊分撥張自忠、馮治安、劉汝明、石友三各部。其中59軍分得姚景川之騎兵第13旅。至此，原29軍部隊完全被拆散，宋哲元將軍專任第一戰區副司令長官。
4月8日，姚旅及中央軍李仙洲第92軍第13師開抵臨沂，歸張自忠指揮。
4月13日，張自忠升任第27軍團軍團長，轄第59軍和第92軍。
中國軍隊在臨沂和台兒莊的勝利，大大刺激了蔣介石、李宗仁等人的求勝欲望。
從3月下旬起，他們又陸續調集20多萬精銳部隊向徐州地區集結，與第五戰區原有部隊合計達64個師又3個旅，總兵力不下60萬。同時，還將中央軍胡宗南、黃傑、桂永清、俞濟時、宋希濂等部布置於豫東，作為徐州的後援力量，擺出了與敵決一死戰的架勢。日軍利用中國軍隊急於求勝的心理，調集13個師團30萬兵力，於5月中旬將徐州包圍。被圍之中國軍隊雖數量龐大，但態勢不利，在心理與士氣上也處於劣勢；若不及時突圍，後果不堪設想。
5月15日，蔣介石在武漢主持召開最高軍事會議，決定放棄徐州。第五戰區據此決定將所屬部隊分三路，從日軍兵力薄弱的西南麵向豫皖邊界山區突圍。李宗仁指定張自忠指揮第59軍和第21、27、139師等部殿後，掩護大軍撤退，完成任務後開赴許昌集結。
張自忠又一次麵臨嚴峻考驗。
自淮河作戰似來，59軍已連續作戰三個月，全軍5個旅隻剩下不到兩個旅，急需撤出戰場進行整補。因此，以屢擔巨艱、傷亡慘重的59軍承擔殿後重任，確屬勉為其難。但張自忠毫不遲疑地接受了任務。
至5月17日，戰區主力部隊陸續脫離戰場。18日，張自忠才命令各掩護部隊放棄當麵陣地，開始撤退。他讓21、27、139師先行，自己率領59軍殿後。
19日上午，日軍占領徐州。
經過千裏跋涉，59軍終於6月1日抵達許昌。
日軍占領徐州後，繼續向華中推進，企圖一舉攻取武漢，迫使中國政府屈服。
武漢扼南北交通要衝，素有“九省通衢”之稱，是華中地區的政治、經濟、交通中心，得失關係重大。蔣介石親自坐鎮武漢，指揮5、9兩個戰區共100多個師和海空軍各一部，組織防禦，一場大戰勢不可免。
6月11日，規模空前的武漢會戰正式打響。
戰至8月底，長江以北日軍攻占六安、霍山，並向固始、潢川推進。9月初，代理五戰區司令長官的白崇嬉急調張自忠部開赴潢川布防，阻敵西進，要求張部守衛潢川至9月18日，以掩護胡宗南等部在信陽、武勝關等地集結。
就在張自忠揮師東進之際，固始已於9月6日失守，日軍第10師團沿固潢公路直撲豫南潢川。
時間太緊了，59軍必須搶在日軍之前趕到潢川。但是，這些北方子弟不適應鄂東豫南陰霾潮濕的氣候，加之連日強行軍，官兵們身體抵抗力銳減，患惡性瘧疾者日多。由於藥品匱乏，每日都有數十名官兵死亡。張自忠焦急萬分，卻毫無辦法。軍情緊急，使他不得不狠下心來，嚴令部隊不顧一切向潢川疾進。
15日，日軍攻克潢川西北之息縣城，並繼續向羅山方向進犯，企圖切斷59軍退路。
15日中午，日軍騎兵突襲59軍軍部。保衛軍部的隻有一個手槍營，情況萬分危急，有人建議軍部南移，但張自忠不為所動。此時如移動軍部不僅影響士氣，而且將失去守城部隊唯一退路。張自忠一麵指揮手槍營抗擊來襲之敵，一麵調集部隊增援，激戰半天，終將敵騎兵打退。
日軍屢攻屢挫，惱羞成怒，竟慘無人道地施放毒瓦斯，導致我官兵大量傷亡。16日晨，七裏崗陣地失守，日軍開始攻擊潢川城。緊急關頭，張自忠力排眾議，帶領180師師長劉振三和軍部毅然進入潢川城，守城官兵士氣為之大振。
16日午後，日軍第10師團集中所有野戰重炮，向潢川城發起了幾天來最猛烈的攻擊，毒氣彈的施放也增加了數倍。
攻上來，打下去，往複拚殺至17日中午，城北、城西角均被敵炮摧毀，日軍步兵蜂擁入城，潢川岌岌可危。張自忠命士兵架起刺刀，與敵展開肉搏戰。震耳欲聾的炮聲消失了，代之而來的是手榴彈的爆炸聲和撕心裂肺的喊殺聲。
日軍還在不斷擁入城內，戰局萬分險惡。情急之下，張自忠下令組織敢死隊，發起反衝擊，死命鎖住日軍突破口。城內日軍成了甕中之鱉，一個個、一夥夥地被守軍吃掉。18日，潢川西北之日軍，從息縣分兵攻擊羅山縣城，切斷了59軍向西的退路。而此時59軍已在潢川一帶堅守了12個晝夜，完成了戰區賦予的阻擊日軍至18日的任務。19日淩晨，張自忠下令，趁夜暗向潢川西南方突圍。天明時分，日軍再攻潢川城，才發現對手已經無影無蹤。
潢川戰役，59軍孤軍苦戰12晝夜，為後方友軍的集結爭取了寶貴的時間。該役，59軍殲敵3000人，自身傷亡4000餘人，其中4位營長陣亡。日軍第2集團軍廣播承認：“皇軍在潢川方麵遭到支那軍隊極強烈之抵抗，致蒙受巨大之損失。”