五月十七日，杜琪睿在河南換督失敗，派人去離間八省反皖同盟也失敗之後，知道吳佩孚的撤防北歸是不可避免的了。為了防止中央威信受損，於是也就授意陸軍部同意了吳佩孚北歸的請求。
五月二十一日，張敬堯派吳新田率領湖南暫編第二師南下接替吳佩孚的防務。吳新田到了衡陽之後就和吳佩孚還有湘軍的代表簽訂條約，使南北兩軍維持原有的停戰界限，承認湘直兩軍之前簽訂的停戰協定繼續有效。
簽了這個條約，張敬堯算是放心了，不用擔心湘軍來搶地盤兒了。他現在也算是真正的湘督了。
之後吳佩孚率領第三師和三個混成旅北上。吳佩孚很小心，湘江兩岸各設掩護部隊，前鋒後衛樣樣俱全。第三師居中，士兵們唱著吳佩孚親自撰寫的軍歌《登蓬萊閣歌》，向北進發。
“北望滿洲，渤海中風浪大作！想當年吉江遼沈，人民安樂。長白山前設藩籬，黑龍江畔列城郭。到而今倭寇任縱橫，風雲惡。甲午役，土地削；甲辰役，主權弱，江山如故，夷族錯落。何日奉命提銳旅，一戰恢複舊山河！卻歸來，永作蓬山遊，念彌陀。”歌聲嘹亮，隊伍嚴整，一派訓練有素的精銳模樣。
吳佩孚經過長沙的時候，張敬堯大加戒備，生怕吳佩孚乘機登岸，奪了長沙，搶了他的湘督帥印。他的名聲在湖南，尤其是在長沙，那可是壞到家了，人們都稱他是“毒菌”。
而吳佩孚的名聲則是要好的多了，但是吳佩孚也沒有想要上岸的打算，人家現在一心想的是打倒皖係，入主中央。這個小小的湘督，對他已經沒有什麼吸引力了。
雖然吳佩孚對湖南督軍沒有什麼興趣了，但是譚延闓有啊。吳佩孚前腳剛走，湘軍就開始了攻擊。張敬堯的部下都是腰包鼓鼓的了，所以一個個的都不願意和湘軍死戰。而湖南人民也是受夠了張敬堯的荼毒，於是紛起響應，張敬堯就是想要打也打不過了，他是與三千萬湖南人為敵啊。
二十九日衡陽即被湘軍攻占，六月三日張敬堯向北京請求對南軍下討伐令，想要用政府的命令來壓製其他的的將領來抵抗湘軍。但是徐世昌卻是不同意，認為這隻是湖南的局部衝突，不是南北雙方的問題。
張敬堯得不到北京的援助，他也就看清楚現實了，於是開始大力搜刮長沙，準備在撤退之前再好好撈一筆。並且跟北京說，他的部隊不願意打內戰，所以才處處讓著湘軍。終於在六月十一日，張敬堯燒毀了鎮湘樓和彈藥庫，帶著部隊離開長沙，向嶽州方向逃竄。
吳佩孚一路沿著湘江、長江，直達漢口。由於車輛不夠，所以部隊一直在漢口駐紮，直到六月五日才繼續北上。
本來杜琪睿想要在河南阻擊北上的吳佩孚的，畢竟在洛陽有兩個旅的西北邊防軍，湖北和河南的邊境有吳光新的四個旅。在河南打的話，能夠遠離京機，還能得到陝西，山東，安徽這些皖係附庸的側擊，勝算也很大。借口都想好了，他要派邊防軍去增援湖南。