想要撤出長沙想衡陽方向突圍，那就必須要渡過滾滾的湘江。可是湘江江麵足有100多米寬，而且江裏還埋設了水雷，雖然日軍這這裏的兵力比較薄弱，但是想要渡過湘江也是十分困難的。第4軍擊退守在湘江邊上的日軍後，在湘江邊上找到了2艘小汽輪和幾條漁船。然而，要在一夜之間，將至少6個團的部隊運過湘江，那幾乎是不可能的事情。葉錦程看著那波濤洶湧的江麵，無奈的說道：“能過多少算多少吧，其餘的部隊另尋出路吧。”
日軍在發現第4軍開始突圍以後，便開始集結部隊，權利阻止第4軍突圍。日軍的重炮開始向湘江邊上進行猛烈的炮擊，致使第4軍的部隊損失慘重，部分部隊已經開始自行潰散了。
19日上午，日軍的追擊部隊殺了過來，戰局急轉直下。葉錦程好不容易的帶著3個團的兵力渡過了湘江，可是尚有許多部隊仍滯留在湘江的對岸。這時，第4軍參謀長張文傑灰頭土臉的報告道：“軍座，正在渡河的部隊發生了混亂，全堵在湘江對岸了。”葉錦程無奈的說道：“管不了那麼多了，我們先向衡陽撤退吧，沒過江的部隊，就讓他們自行突圍吧。”
6月20日，日軍進入長沙，在長沙的城門樓上插上了一麵“膏藥旗”。至此，名城長沙終於陷落在了日軍手中。日軍占領長沙後，並沒有再度向第4軍發起追擊，而為什麼橫山勇沒有發起追擊呢？這並不是他心善，或者占領長沙就知足了。而是因為第4軍不是有計劃、有組織的撤退，而是混亂的自行潰散，有已經渡過湘江潰逃的，有向湘潭方向潰逃的，根本沒有形成一個整體，散兵遊勇式的大潰散，而使日軍根本無法完成追擊。
薛嶽獲悉長沙失守，第4軍擅自撤退，頓時就是火冒三丈的。他大罵葉錦程膽小無能，致使他的第四次長沙會戰功敗垂成。副官一見薛嶽發火了，就趕緊勸解道：“長官息怒，其實長沙的失守也未必是壞事。”薛嶽壓下心中的怒火，對副官說道：“說說你的看法。”副官急忙回答道：“就目前的戰場形式來說，即使第4軍不撤出長沙城，我們在外圍執行圍殲的部隊也很難如期到達，第第四次長沙會戰也必然功敗垂成，到時候長沙依然還是守不住的。如今，葉錦程擅自撤退，正好給了我們結束長沙會戰的理由，而且會戰失敗的原因，也可以歸結在第4軍擅自撤退上。即使然後蔣委員長追究戰敗的責任，他也追究布道長官您的頭上來。”薛嶽看著副官，滿意的點了點頭，然後對副官吩咐道：“給蔣委員長發報，告訴他因第4軍不尊命令擅自撤退，導致第四次長沙會戰功敗垂成。我第9戰區的部隊正在向衡陽方向集結，計劃在衡陽一線阻擊日軍。”
6月22日晚，日軍第11軍司令部內，橫山勇召開了盛大的記者招待會，向中外記者宣布最新的戰況。橫山勇站在話筒前，異常興奮的說道：“本日上午10時，我大日本皇軍已經完全的占領了長沙，國民黨的軍隊已經全部被趕進了湘西的深山裏。”說道這裏橫山勇停頓了一下，頓時那些中外記者就開始了鼓掌，這讓橫山勇感到了更加的興奮。他用雙手向下壓了壓，然後繼續說道：“在我們進攻長沙的同時，我大日本皇軍第13軍，在村田司令官的指揮下，也已經擊潰了盤踞在粵北的國民黨第12集團軍，致使長沙和廣州已經連通了。大日本皇軍的打通大陸交通線的作戰，已經取得了輝煌的勝利！”記者們再次熱烈的鼓掌，讓橫山勇的自信再次的高漲起來，他看了一下滿堂的記者們，然後驕傲的說道：“自從大東亞聖戰開始以來，我強大的大日本皇軍通過6年多的努力，占領了中國的大半領土，把蔣介石政府趕進了中國的大西南。緊接著我大日本皇軍又在天平洋上擊敗了美國人，大日本皇軍橫掃東南亞，將無能的英國人徹底的趕回了印度，由天皇陛下領導的大東亞聖戰已經取得了圓滿的成功。”那些記者們再次鼓起了掌，興奮中的橫山勇對著部下和記者們高聲喊道：“大日本帝國萬歲！天皇陛下萬歲！大東亞聖戰萬歲！”