白文選攻不破順軍的營地立馬就意識到了危機，衡陽處於幾條水道的交接區，要是順軍大軍四麵圍攻過來，自己可能會在衡陽城下全軍覆沒。
可是白文選又沒有收到明軍那邊的消息，也不知道明軍那邊的進展怎麼樣了。
要是這邊退了導致順軍上去把明軍幹了，那麼這波攻勢就徹底失敗了。
白文選思考了一陣之後決定還是撤退，反正北邊那些明軍死了也就死了，他還沒高尚到為了給明軍爭取時間把自己搭進去這種程度。
於是白文選決定撤軍。
城外的順軍在發現白文選的攻勢強度越來越低之後也察覺到了異常，於是，金聲桓首先帶領士兵對衡陽發起攻城行動，結果出乎意料的，衡陽壓根就沒幾個守軍，金聲桓輕易地撈到了一個先登加複地的功勞。
得知白文選撤出衡陽之後，穀可成判斷大西軍這是打算全軍撤出湖南了，於是他當即下令，讓各路順軍水陸並進，一路殺向零陵，收複沿途各個縣城。
很快，各路大軍再現了當年順軍如入無人之境的的景象，白文選不想多做逗留，一口氣退到了全州，並在象鼻山憑高修建工事，防止順軍就勢打進貴州。
順軍沒有打進貴州的打算，在將白文選逼出湖南之後，穀可成留下張勇，馬得功兩人駐紮在零陵和武岡，自己帶著湖廣集團軍的其他部隊北上支援湖廣北部的順軍。
此前不久，曾英和楊展經過一番激戰之後，成功率領明軍在夔州一帶戰勝了白杆兵，白杆兵全部縮回石柱，明軍隨即尾隨而至，將石柱團團包圍起來。
眼看石柱已經成了甕中之鱉，楊展與曾英商量了一陣之後決定讓曾英繼續指揮明軍圍困石柱，楊展自己帶著另外一部明軍順江而下，攻取荊州。
明軍一路上連破巫東，秭歸，夷陵，很快大軍就進抵宜都城下，離荊州已經不遠了。
楊展於是將軍隊屯駐在虎牙山一帶，準備等順軍主動來仰攻虎牙山的時候大量殺傷順軍，如果能在虎牙山下大量殺傷順軍，那麼明軍就可以直撲荊州，拿下這個戰略要地。
當然楊展之所以不直接殺過去，是因為明軍難得的數量優勢已經沒有了，隨著許定國和劉澤清的河南集團軍抵達荊州，荊州附近的順軍人數已經超過了明軍。
河南集團軍的司令是許定國，但是李定國雖然受封成了河南集團軍司令，但實際上他是指揮不動劉澤清及李成棟這些人的。
很快隨著張鼐到達河南集團軍，許定國自然讓出了指揮權，並且向張鼐提出了辭職，表示自己無力擔任河南集團軍司令一職，請求朝廷重新選派將領領導河南集團軍。
張鼐不置可否，李自成當時把這些個軍頭三三兩兩編進一個集團軍就是迫使他們主動要求大順朝廷空降司令：
這些人誰都無法壓倒其他軍頭，無論誰做老大都會有人不服，最後便隻能要求朝廷派人來管。
不過張鼐並不想這時候討論這事，他給了一個模糊的說法就略過了此事：
“此事不是我能決定的，眼下關鍵還是擊退明軍的進攻。”