蔣介石批準張自忠重返部隊的手令一下達，張自忠便離開武漢奔赴前線。
行前他特地前往李宗仁寓所辭行，感謝對他的幫助。他對李宗仁道：“要不是李長官一言九鼎，自忠縱不被槍斃，也當長陷縲絏之中，為民族罪人。今蒙長官成全，恩同再造。自忠有生之日，當以熱血生命以報國家，以報知遇。”
張自忠回到前線，首先便去見宋哲元。
宋哲元在東明縣七十七軍軍部，集合軍部人員和部隊，熱烈歡迎張自忠，介紹張自忠同官兵見麵。
宋哲元對七十七軍官兵說：“張自忠留北平是我的主張，是為掩護部隊安全撤退。五十九軍軍長未派人，就是給他留著的。現下他回來了，就叫他去當軍長。”
七十七軍軍長馮治安同張自忠是換過金蘭譜的拜把弟兄，二十九軍初創，是張自忠向宋哲元力薦馮治安出任三十七師師長的。
馮治安聽說張自忠歸來，十分高興，特別地自東明渡河來歡迎張自忠。兩人見麵，熱烈擁抱，熱淚雙流。
馮治安道：“藎忱大哥，我們大家終於把你盼回來了。真是令人高興得很。”
張自忠道：“仰之弟，小兄看到你也高興得很。我還以為我這一輩子再也回不到部隊了呢。”
馮治安道：“回來了便好，回來了便好。大家盼你盼得眼都穿了。”
“謝謝弟兄們的關懷。”
七十七軍的高級軍官，大多原是張自忠西北軍時代的學生。張自忠到來，大家相見，自然十分歡愉。大家紛紛向張自忠問候，祝賀他終於回到了部隊。
宋哲元在七十七軍軍官會上宣布，張自忠已由蔣介石委任以軍政部中將部附代五十九軍軍長職務。這無形中把前一時期七十七軍同五十九軍間的隔閡，一下便消融了。
在長清停留了兩天，張自忠便回五十九軍軍部所在地道口西南的李源屯。
張自忠回五十九軍來了的消息，像滾滾春雷傳遍了五十九軍各部；像春風，吹遍了五十九軍駐紮的每一個角落。五十九軍頓時沸騰起來了。
三十八師師長黃維綱、一八○師師長劉振三、旅長董升堂、張宗衡、祁光遠、李金鎮、朱春芳等以及團長們，在得到這個消息後，都聚集到李源屯來了。五十九軍團以上的軍官，在副軍長李文田的率領下，趕到道口來迎接他。當張自忠到達道口時，立即鑼鼓喧天，鞭炮齊鳴，前來迎接他的官兵，排列著整齊的隊列，齊聲歡呼：“歡迎軍長歸來！”
黃維綱師長代表全軍將士，跑步來到張自忠麵前，立正行了一個軍禮：“第五十九軍第三十八師師長黃維綱，代表五十九軍全體將士，向軍長致意，熱烈歡迎軍長勝利回隊。”並把綢紮的大紅花，掛在了張自忠的胸前。
張自忠含著激動的熱淚，和黃維綱熱烈握手、擁抱。然後在黃維綱的陪同下，和副軍長李文田、一八○師師長劉振三以及來歡迎他的旅長們、團長們一個個握手、擁抱。大家都很激動。
黃維綱對張自忠道：“軍長，你給弟兄們講幾句話吧！”
張自忠點點頭，含著激動的淚花，站在一個石墩上，對大家道：“我今日回軍，和大家一起共同殺敵，就是要帶著大家去找死路，看將來為國家死在什麼地方！”
大家聽到這句話，都哭了。誰說男兒無淚！這些鐵錚錚的鋼鐵漢子，同樣也有淚，同樣也為情落淚！這種淚，不是軟弱的淚，而是可以表達“慷慨赴義死”，“五嶽倒為輕”；“縱死俠骨香，不慚世上英”的烈士決心的淚。
張自忠回到軍中，全軍從每個士兵到每一個軍官，無不歡欣鼓舞。這幾天全軍上下，每個連隊，都像過年一樣熱鬧，殺豬宰羊，鑼鼓喧天。
隻有副軍長李文田見到張自忠，顯得有些不自然，因為他想到張自忠不在這裏的日子，自己所做的一切，心中感到內疚、慚愧。但張自忠卻裝著不知道的樣子，仿佛根本不知道已發生的事情，也從不提起它，大小事情，仍和過去一樣找他商量。李文田又慚愧、又感動，因為李文田知道，他做的事，不僅已鬧得第一集團軍的將領可以說是無人不知，就是南京軍界，也幾乎是知者甚多了，張自忠怎會不知道呢。可張自忠卻沒有一句責備他的話，仍如既往一樣待他，他尤其感到過意不去。
張自忠的歸來，使五十九軍結束了幾個月群龍無首的局麵，全軍軍心凝聚，士氣大振。
1938年元旦過後，五十九軍奉命移駐修武、新鄉一帶。
此時全軍轄兩個師，共五個旅。第三十八師師長黃維綱，下轄一一二旅，旅長李金鎮；一一三旅，旅長朱春芳；一一四旅，旅長董升堂。第一八○師師長劉振三，下轄獨立第二十六旅，旅長張宗衡；獨立第三十九旅，旅長祁光遠。軍直轄特務團團長安克敏。全軍兵力約三萬人。
張自忠一回到部隊，就著手對全軍進行整訓。在張自忠的嚴格訓練下，五十九軍利用戰鬥間隙加緊實戰訓練，使戰術水平進一步提高，戰鬥力得到增強。
1937年12月13日，南京淪陷。此時，華北日軍已占領了北平、天津、太原、石家莊、保定、張家口、濟南等大中城市，將中國軍隊壓迫到黃河以南。華中日軍也占據了滬、寧、杭長江三角洲。為了打通津浦鐵路線，使南北日軍聯成一片，進而覬覦中原，華北日軍占領濟南後，進至濟寧、蒙陰、青島一線。華中日軍則由鎮江北渡長江，進至明光（今嘉山）、沱河鎮一線，擺開南北對進，夾擊徐州的勢態。
徐州，地處津浦與隴海鐵路交叉點，扼蘇、魯、皖、豫四省要衝，是中原和武漢的屏障，是古來兵家必爭之戰略要地，地位非常重要。
國民政府軍事委員會和第五戰區原來製訂了利用黃河、淮河天險遏製南北日軍攻勢，以確保徐州的計劃。但由於韓複榘不戰而丟棄黃河天險，日軍得以迅速推進魯南。
這個防禦計劃被打亂，隻好臨時調兵，倉促應戰，陷於被動。
1938年1月初，五十九軍由第一戰區調歸第五戰區，編入楊森的第二十七集團軍，準備參加徐州會戰。
對於這個調動，張自忠喜憂參半。喜的是能在李宗仁手下效力相處必定愉快，且有機會報答李長官知遇之恩；憂的是五十九軍一走，原二十九軍部隊隻有七十七軍保留在第一集團軍內，這表明，蔣介石的排斥宋哲元之心已趨明朗化。
另外，還有一個因素使張自忠心存顧慮。即與他同為西北軍將領、但卻與他結下宿怨的“龐拐子”（即龐炳勳）恰巧也在第五戰區。
龐與張本同為西北軍將領，相處多年，但龐為人不仁不義，陰險善變。中原大戰後期，他見反蔣軍大勢已去，遂叛馮投蔣，並且偷襲張自忠師部，使張自忠險遭不測。兩人從此結仇。所以，張自忠曾私下對五戰區參謀長徐祖詒道：“在任何戰場，我張某當可拚一死，惟獨不願與龐炳勳在同一戰場，此人不可共事。”
1月底，五十九軍奉命開赴豫東商丘地區待命。
這時南路日軍第十三師團大舉進犯，企圖突破我軍淮河防線。
東北軍名將於學忠率五十一軍等部，在東起臨淮關，西至小蚌埠的寬廣防線上奮勇抗擊日寇，多次挫敗日軍進攻。但因戰線過長，兵力不足，1月28日，明光失守，2月初，臨淮關、鳳陽、蚌埠、定遠相繼被占。五十一軍被迫退守淮河北岸。日軍乘機強渡淮河，並攻占了北岸的小蚌埠、曹老集等地，五十一軍多次進行反擊均未能奏效，淮河防線有崩潰的危險。