就在日軍攻占洛陽的同一天，即1944年5月25日，日軍中國派遣軍總司令官畑俊六上將，按計劃將前進司令部移到漢口，指導湘桂會戰。這時，日軍第十一集團軍各部也在嶽陽附近集結完畢。
日軍計劃首先以第十一集團軍奪取長沙、衡陽，為進攻桂林、柳州做好準備。
中國稱這一時期的作戰為長衡會戰。
5月27日，日軍第十一集團軍在100多千米的正麵上發動攻勢，進展迅
速，6月18日攻占長沙，並向衡陽進犯。中國第九戰區預定在淥水、漣水以北地區與日軍決戰的計劃被迫放棄。為了阻止日軍深入，保衛衡陽，中國國民政府軍事委員會在6月20日命令
第九戰區以一部在原口、衡山之間持久抵抗，主力由醴陵、瀏陽向西，由寧鄉、益陽向東，夾擊深入之敵而殲滅之；以第十軍固守衡陽；從第七戰區開來的第六十二軍仍歸軍事委員會直轄，控製在衡陽西南地區待命。
第九戰區在正麵兵力配置薄弱，加之日軍來勢凶猛，避實擊虛，鑽隙突進，往往以便衣隊為前驅，少者10餘人，多者百餘人，隨處擾襲，使中國軍隊處處顧慮。
至6月23日，日軍進抵衡陽近郊，並東犯攸縣，西陷湘鄉，牽製第九戰區外圍部隊，衡陽守軍從此陷於包圍。此時衡陽守軍是第十軍和第五十四師一部，共約18000人。
28日拂曉，日軍第六十八、第一一六師、第五十八師誌摩支隊對衡陽發動第一次總攻。守軍第十軍士氣高昂，防禦異常堅固，且炮火占優勢，打退了日軍一次又一次衝鋒。
上午9時30分左右，第十軍迫擊炮擊中日軍第六十八師指揮所，日軍第
六十八師師長佐久間為人及該師參謀長、主任參謀等均負重傷。7月2日，日軍第十一集團軍被迫下令暫停攻擊衡陽。日軍第二次總攻前，為破壞守軍的生存條件，從7月3日至6日，日軍飛機
向衡陽投下大量的燃燒彈，衡陽城大火熊熊。在衡陽紅十字醫院的千餘名重傷員來不及遷走，不幸罹難。第十軍屯集的糧彈，也被焚毀不少，所幸大米、食鹽埋在地下，得以保存。7月10日前後，日軍趕運大炮、彈藥的任務及航空兵部隊的準備大體完
成。日軍第六十八師新任師長堤三村男中將也於7月11日到任。7月11日，日軍將重點指向衡陽西南，發起第二次總攻。日軍占領了一些前沿陣地，但怎麼也攻不下衡陽西南的嶽屏山，隨後陷
入僵局。日軍第五十八師誌摩支隊支隊長誌摩源吉少將又被迫擊炮擊斃。中國軍隊前來解圍的第六十二軍逼近衡陽城南郊。至此，日軍不得不在7月20日結束第二次衡陽攻堅戰。
7月11日，日軍發動衡陽第二次總攻時，第十軍告急。7月12日，軍事委員會命令第二十七集團軍副總司令李玉堂率第六十二軍，立即由衡陽西南迅速猛攻敵背，希望一鼓作氣殲滅圍攻衡陽之日軍。第七十九軍應協同第六十二軍向衡陽西北郊猛攻，並以第一零零軍第六十三師由北向南攻擊永豐方麵之敵，策應作戰。
第六十二軍奉令後，前鋒立即由洪橋沿湘桂鐵路正麵展開攻擊，主力由祁陽東北跟進。在白鶴鋪，日軍用枕木構成堅固陣地，拚命死守。
第六十二軍軍長黃濤感到相持下去，耽誤時間，便以一個團監視白鶴鋪之敵，主力繞過白鶴鋪從湘桂鐵路南麵攻擊前進。
7月15日，第六十二軍進至六塘東南，19日乘隙滲透到衡陽西南郊，一部直抵衡陽城南黃茶嶺，與衡山守軍隔山相望。第十軍派部隊出來接應，途中遭日軍截擊，犧牲重大，雙方未能聯係上。
由西北麵前來解圍的第七十九軍當麵敵情嚴重，進展較緩。第六十二軍進抵城郊時，第七十九軍尚在蒸水以北，第六十二軍腹背受敵，傷亡重大，補給中斷，22日撤至鐵關鋪以南地區。
第六十二軍第一五一師副師長餘子武在解圍戰鬥中陣亡。待第七十九軍一部於7月下旬渡過蒸水進抵衡陽西北郊時，日軍得以調集優勢兵力反撲。這次解圍，由於兩個軍步調不一，被日軍各個擊破。
此時衡陽守軍已在優勢之敵圍攻下，苦戰一個多月。
7月27日，軍事委員會確定增調兵力，再次向圍攻衡陽之日軍反擊，從第四戰區調來第四十六軍，並調來坦克部隊，配合第六十二、第七十九、第一零零軍再次解圍。
日軍為第三次總攻衡陽，其第五航空集團軍從8月2日起，不分晝夜地對衡陽狂轟濫炸。日軍輕重火炮百餘門從8月3日下午起，也夜以繼日地作地毯式炮擊，一部分野山炮更推進至第十軍陣地前百米以內，直接射擊側防陣地。
8月4日拂曉，日軍近5個師，在橫山勇親自指揮下，從四麵八方對衡陽城發動第三次總攻。
從6月23日至8月3日，第十軍已被圍攻42天，預十師傷亡達90％以上，第三師傷亡70％以上，第一九零師尚存官兵約400人；軍直屬隊中除輜重團尚存官兵約500人外，其搜索、特務、工兵、炮兵等營尚存不足1／3；全軍步兵團級軍官傷亡殆盡。
第三師第八團爭奪城南五桂嶺，半天之內曾連續晉升5個營長，均先後壯烈殉職，就是這樣守住了五桂嶺。在夏日炎炎，遍地積屍，滿城惡臭，群蠅亂飛的環境中，官兵們英勇頑強地堅守著。
日軍第三次總攻中，不顧一切實施波浪式的自殺式衝鋒，其攻勢之猛、兵力之大、火力之強、持續時間之久，為開戰以來所少有。第十軍以手榴彈和刺刀浴血死戰，寸土必爭，將一波又一波日軍消滅在陣地前。
8月6日淩晨3時，衡陽城西北演武坪一度被日軍突破，日軍50多人竄入城內。這是日軍首次竄入城內。
7日拂曉，日軍第五十八師500多人突破城西北青山街，守軍營長、團長相繼陣亡，突破口越來越大，雙方在城西北展開巷戰，其餘各陣地同時遭強大日軍圍攻。