長衡會戰的計劃是：一、將進攻部隊分為兩線；由第3、第13、第40、第68、第116師團組成第一線兵團，擔任主攻，在華容、嶽陽、崇陽一線集結，於5月27日到28日向沅江、益陽附近至新牆河、汩水一帶發動攻勢，殲滅該地區中國軍隊；由第27、第34、第58師團組成第二線兵團，在監利、蒲圻一線集結，作為後續部隊；另以獨立混成第17旅團、獨立步兵第5旅團等部隊，在安鄉附近發動進攻，牽製和吸引中國軍隊。二、由第34、第58師團進攻長沙，第3、第13師團分別在長沙南麵和東麵阻擊中國軍隊。三、攻占長沙後，以一部兵力南下，急襲並占領衡陽。
1944年5月25日，也就是洛陽陷落的同一天，日本駐中國派遣軍司令官畑俊六抵達漢口前進指揮所，親任長衡會戰指揮。日軍參戰的主力是駐武漢的第11集團軍，這支深入中國內地的野戰部隊，是侵華日軍中最強大的軍團。現在增兵至11個師團和1個旅團，總兵力達36.2萬人。不僅如此，日軍最精銳的空軍部隊第22飛行大隊也調到了粵漢線，10餘萬補充兵力和4萬匹戰馬，也由日本國內運到了武漢地區。
在近代曆史上，隻有在1904年的日俄戰爭中，日軍才為進攻一個地區動用過如此規模的兵力。在進攻時間的選擇上，日軍選定了當年日本海軍在對馬海峽打敗沙俄波羅的海艦隊的勝利日，5月27日，作為這次戰役的發動時間。
正當日軍積極準備長衡會戰時，湖南戰場上陳誠、薛嶽對日軍即將發動的進攻掉以輕心，他們幻想日軍會像前三次長沙會戰一樣，十幾萬日軍被國軍前後夾攻、四麵出擊所擊退。不知道日軍此次增兵至46萬多人。
5月27日，日軍第11軍司令官橫山勇中將，指揮8個多師團的兵力，分三路向第九戰區發動進攻，長衡會戰打響。
日軍重兵集團的三路出擊，打亂了第九戰區將主力放在正麵阻擊日軍的計劃，使前線部隊處於日軍分割包圍之中，難以進行有效的抵抗。
6月1日，左翼日軍攻陷平江，向長沙東麵的瀏陽進逼；6日，右翼日軍攻占沅江，然後向長沙西南麵的寧鄉、益陽推進。中路日軍在汩水南岸受到國軍第20軍的有力抵抗，激戰兩天之後，才突破防線，於6日到達長沙北麵的撈刀河。此時，第九戰區顧此失彼，節節敗退。11日，右翼日軍和中路日軍合力圍攻長沙東麵的重鎮瀏陽，14日，瀏陽陷落。15日，日軍第58師團向長沙東南麵發動攻擊，第34師團向長沙西麵的嶽麓山發動猛攻，長沙處於日軍三麵圍攻之中。
在優勢日軍的猛攻下，嶽麓山守軍傷亡過半。18日，日軍攻占嶽麓山，駐守長沙的第4軍突圍，長沙陷落。
日軍侵占長沙後繼續向南推進。23日，左翼日軍第13師團攻占衡陽南麵的耒陽，切斷了粵漢線，從南麵向衡陽包抄；中路日軍第68師團沿粵漢線向衡陽推進。26日，以一部分兵力攻占衡陽東北麵的飛機場，主力部隊迂回到衡陽西南麵；第116師團於27日到達衡陽西北麵，日軍完成了對衡陽的包圍。
衡陽是粵漢線和湘桂線的聯接點，是中國南方的重要交通樞紐和軍事重鎮，又是美軍第14航空隊的重要基地。早在長沙被包圍時，第九戰區第10軍就奉命守衛衡陽，在衡陽周圍構築了堅固的防禦工事。長沙失陷後，第九戰區將阻止日軍的主要戰場放在衡陽地區，在加強衡陽防禦力量的同時，以主力部隊向長沙東麵的瀏陽、醴陵和長沙西麵的益陽、寧鄉同時發動攻勢，企圖攻擊日軍後方，迫使日軍撤兵。以解衡陽之圍。
28日，日軍第68師團、第116師團同時向衡陽發動攻擊。守軍第10軍利用河川與城牆巧妙構築的工事，沉著應戰，伺機實施反擊，擊退日軍的攻勢，並打傷日軍第68師團師團長佐久間中將及參謀長。30日，日軍第116師團師團長岩永汪中將親自到前線督戰，猛攻衡陽，又被中國守軍第10軍擊退。戰鬥一直持續到7月2日，日軍毫無進展，被迫暫時停止攻勢。
第一次進攻受挫後，日軍火速向衡陽運送彈藥、增加炮兵，並派遣空軍助戰。11日，日軍決定向衡陽發動第二次攻勢，其攻擊重點改為衡陽西南方。15日，日軍再次猛攻衡陽，日機向衡陽投擲燃燒彈，將衡陽變成了一片火海，但守衛衡陽的第10軍依然頑強死守，再次挫敗了日軍的攻勢。16日，日軍攻擊再次停止。
第二次攻擊受挫後，日軍采取緊急措施，增加兵力，將第13、第58師團投入戰鬥，並調集重炮參戰。準備就緒後，8月3日，日軍首先出動空軍對衡陽進行狂轟濫炸，用重炮猛轟中國軍隊陣地。4日至5日，日軍第68師團向衡陽南麵，第116師團向衡陽西南麵，第58師團向衡陽西北麵發動強大攻勢，開始了第三次衡陽攻擊作戰。
麵對強敵，衡陽守軍第10軍同日軍展開巷戰。7日，衡陽戰鬥仍處於膠著狀態。一度使日軍第11軍司令橫山勇產生了是否停止攻擊的想法。當天夜晚，日軍集中所有的炮火對衡陽進行最後一擊，攻破小西門，大隊日軍不斷湧入城內，第10軍官兵仍在城內同日軍展開搏殺。到8日淩晨，第10軍軍長方先覺久盼援軍不至，絕望中率領4個師長向日軍投降。至此，衡陽保衛戰失敗。
在衡陽保衛戰期間，第九戰區在湘江兩岸地區向日軍發動攻勢，以解衡陽之圍。在湘江東岸，中國軍隊第20、第26、第37、第44軍在衡陽東麵的茶陵地區展開反攻，7月上旬收複攸縣，並包圍了耒陽日軍。與此同時，第58軍攻克醴陵，向湘江推進，日軍急調第二線兵團和第27師團阻擊中國軍隊，雙方在湘江東岸展開拉鋸戰。
在湘江西岸，7月1日，第九戰區命令第73軍守衛益陽地區，第100軍守衛永豐地區，第62軍進軍衡陽西南麵的文明鋪，策應衡陽保衛戰。2日到10日，國軍第100軍在永豐擊退日軍，然後揮師南下，準備參加衡陽作戰。第79軍推進到衡陽西北角的金蘭寺、演陂橋。19日，第62軍挺進到衡陽城郊，突遭日軍反擊，傷亡慘重，其他幾個軍都在衡陽外圍被日軍擊敗，未能參加衡陽保衛戰。
衡陽爭奪戰是湖南會戰中最激烈的一幕，盡管衡陽淪陷了，但在曆時47天的衡陽保衛戰中，第10軍官兵的頑強戰鬥意誌，在中國抗日戰爭史上，展現出了一幅壯烈的畫麵。
衡陽的失陷，為日軍敞開了通向廣西的大門。
長衡會戰一結束，日軍按照既定的一號作戰計劃，立即著手部署在廣西的桂柳會戰。
為了進行桂柳會戰，打通中國大陸交通線，8月26日，日本大本營決定在華新設立第6方麵軍，任命岡村寧次為司令官，統一指揮武漢至廣東地區的日軍。編入第6方麵軍的部隊有：直轄兵團，由第27、第40、第64、第68師團組成；第11軍，司令官橫山勇中將，由第3、第13、第34、第37、第58、第116師團組織；第23軍，司令官田中久一中將，由第22、第104師團及獨立混成第19、第22、第23、獨立第8、第13旅團組成。新組建第34軍，司令官佐野忠義中將，由第39師團，獨立混成第17、步兵第5、第7、第11、第12旅團等組成。總兵力達55萬人，包括13個師團，10個旅團以上，為日軍曆史上最大的集團軍事行動之一。比整個太平洋戰區及南洋地區的日軍總數還多十多萬人。
在正式進行桂柳會戰前，日軍先進行外圍戰。在湖南，日軍第11軍於8月31日在耒陽以西地區發動作戰，9月8日占湖南零陵地區，繼而沿湘桂線向廣西推進。14日，日軍攻陷桂北重鎮全州，逼近桂林。
在廣東，從6月開始，日軍第23軍為了策應衡陽作戰，在廣東開始發動攻勢。9月10日，主力第22、第104師團及獨立混成第22旅團，在三水集結，準備向廣西柳州推進，獨立混成第23旅團從雷州半島出發，向廣西梧州地區推進，23日攻占梧州。
10月初，日軍第六方麵軍製定了廣西會戰計劃，決定於11月初由第11、第23軍相互策應，進攻柳州西部地區，捕捉殲滅國軍主力，然後向貴州追擊。
駐守廣西的是以張發奎為司令長官的第四戰區部隊，當衡陽戰役正在進行時，第四戰區為防止日軍沿湘桂線、粵漢線南下，決定以兩個軍的兵力駐守湘桂線北部，以廣西地方團隊駐守桂南，以第93軍駐守全州，以李玉堂兵團在全州以北鐵路沿線阻擊日軍。
10月下旬，日軍第六方麵軍下達作戰命令，第11軍從北麵，第23軍從南麵，一齊向桂柳地區推進，駐守桂林的是第131和第170師。29日，日軍向桂林城郊發動進攻，桂林守軍同日軍激戰十日，未能擊退日軍的進攻。11月9日，日軍向桂林城發起總攻，突破守軍陣地，進入市區，桂林守軍同日軍展開巷戰。被迫於11日突圍，桂林陷落。
還是在桂林總攻的前夕，日軍第11軍鑒於入桂以來未遇到激烈抵抗，得知了柳州城防薄弱的消息，命令第3、第13兩個主力師團徑直往柳州赴去，兩個師團未遇到什麼阻攔，於11月初到達柳州的平地。隨後又分兵一股於柳州西南方渡過了柳江，堵住了柳州一帶中國守軍的退路。
柳州是第四戰區長官部所在地，11月9日，日軍從柳江兩岸夾擊柳州守軍，從柳州東南方的象縣又趕來日軍第23軍部隊投入攻擊。守軍第26軍於10日下午接到張發奎的電話指示，應避免無謂犧牲，遂集結向西突圍。11日，柳州為日軍侵占。
這樣，廣西境內的兩座主要城市幾乎同時告失。日軍往各處攻掠城鎮，國軍紛紛潰退。日軍第23軍分兵一支，與從越南北上之日軍會攻南寧。24日，南寧守陷落。12月10日，兩股日軍在南寧會合，至此，日軍打通大陸交通線的戰略行動已告完成。