就在日軍攻占洛陽的同一天，即1944年5月25日，日軍中國派遣軍總司令官煙俊六上將，按計劃將前進司令部移到漢口，指導湘桂會戰。這時，日軍第11集團軍（司令官橫山勇中將）各部也在嶽陽附近集結完畢。日軍計劃首先以第11集團軍奪取長沙、衡陽，為進攻桂林、柳州做好準備。中國稱這一時期的作戰為長衡會戰。
5月27日，日軍第11集團軍在100多公裏的正麵上發動攻勢，進展迅速，6月18日攻占長沙，並向衡陽進犯。中國第9戰區預定在淥水、漣水以北地區與日軍決戰的計劃被迫放棄。
為了阻止日軍深入，保衛衡陽，中國國民政府軍事委員會在6月20日命令第9戰區以一部在原口、衡山之間持久抵抗，主力由陵、瀏陽向西，由寧鄉、益陽向東，夾擊深入之敵而殲滅之；以第10軍固守衡陽；從第7戰區開來的第62軍仍歸軍事委員會直轄，控製在衡陽西南地區待命。
第9戰區在正麵兵力配置薄弱，加之日軍來勢凶猛，避實擊虛，鑽隙突進，往往以便衣隊為前驅，少者十餘人，多者百餘人，隨處擾襲，使中國軍隊處處顧慮。到6月23日，日軍進抵衡陽近郊，並東犯攸縣，西陷湘鄉，牽製第9戰區外圍部隊，衡陽守軍從此陷於包圍。
此時衡陽守軍是第10軍（軍長方先覺）和第54師一部，共約1.8萬人。
6月28日拂曉，日軍第68、第116師、第58師誌摩支隊對衡陽發動第一次總攻。守軍第10軍士氣高昂，防禦異常堅固，且炮火占優勢，打退了日軍一次又一次衝鋒。上午9時30分左右，第10軍迫擊炮擊中日軍第68師指揮所，日軍第68師師長佐久間為人及該師參謀長、主任參謀等均負重傷。7月2日，日軍第11集團軍被迫下令暫停攻擊衡陽。
日軍第二次總攻前，為破壞守軍的生存條件，從7月3日～6日，日軍飛機向衡陽投下大量的燃燒彈，衡陽城大火熊熊，一片火海。在衡陽紅十字醫院的千餘名重傷員來不及遷走，不幸罹難。第10軍屯集的糧彈，也被焚毀不少，所幸大米、食鹽埋在地下，得以保存。7月10日前後，日軍趕運大炮、彈藥的任務及航空兵部隊的準備大體完成。日軍第68師新任師長堤三村男中將也於7月11日到任。7月11日，日軍將重點指向衡陽西南，發起第二次總攻。日軍占領了一些前沿陣地，但怎麼也攻不下衡陽西南的嶽屏山，隨後陷入僵局。日軍第58師誌摩支隊支隊長誌摩源吉少將又被迫擊炮擊斃。中國軍隊前來解圍的第62軍逼近衡陽城南郊。至此，日軍不得不在7月20日結束第二次衡陽攻堅戰。
7月11日，日軍發動衡陽第二次總攻時，第10軍告急。7月12日，軍事委員會命令第27集團軍副總司令李玉堂率第62軍，立即由衡陽西南迅速猛攻敵背，希望一鼓作氣殲滅圍攻衡陽之敵；第79軍應協同第62軍向衡陽西北郊猛攻，並以第100軍第63師由北向南攻擊永豐方麵之敵，策應作戰。
第62軍奉令後，前鋒立即由洪橋沿湘桂鐵路正麵展開攻擊，主力由祁陽東北白地市跟進。在白鶴鋪，日軍用枕木構成堅固陣地，拚命死守。第62軍軍長黃濤感到相持下去，耽誤時間，便以1個團監視白鶴鋪之敵，主力繞過白鶴鋪從湘桂鐵路南麵攻擊前進。7月15日，第62軍進至六塘東南，19日乘隙滲透到衡陽西南郊，一部直抵衡陽城南黃茶嶺，與衡山守軍隔山相望。第10軍派部隊出來接應，途中遭日軍截擊，犧牲重大，雙方未能聯係上。
日機轟炸堅守衡陽的中國守軍陣地由西北麵前來解圍的第79軍當麵敵情嚴重，進展較緩。第62軍進抵城郊時，第79軍尚在蒸水以北，第62軍腹背受敵，傷亡重大，補給中斷，22日撤至鐵關鋪以南地區。第62軍第151師副師長餘子武在解圍戰鬥中陣亡。待第79軍一部於7月下旬渡過蒸水進抵衡陽西北郊時，日軍得以調集優勢兵力反撲。
這次解圍，由於2個軍步調不一，被日軍各個擊破。
此時衡陽守軍已在優勢之敵圍攻下，苦戰1個多月。7月27日，軍事委員會確定增調兵力，再次向圍攻衡陽之敵反擊，從第4戰區調來第46軍，並調來坦克部隊，配合第62、第79、第100軍再次解圍。
日軍為第三次總攻衡陽，其第5航空集團軍從8月2日起，不分晝夜地對衡陽狂轟濫炸；日軍輕重火炮百餘門從8月3日下午起，也夜以繼日地作地毯式炮擊，一部分野山炮更推進至第10軍陣地前百米以內，直接射擊側防陣地。8月4日拂曉，日軍近5個師（第13、第58、第68、第116師全部、第34師針支隊，日軍1個師兵力約1.2萬人），在橫山勇親自指揮下，從四麵八方對衡陽城發動第三次總攻。
從6月23日到8月3日，第10軍已被圍攻42天，預10師傷亡達90%以上，第3師傷亡70%以上，第190師尚存官兵約400人；軍直屬隊中除輜重團尚存官兵約500人外，其搜索、特務、工兵、炮兵等營尚存不足1/3；全軍步兵團級軍官傷亡殆盡。第3師第8團爭奪城南五桂嶺，半天之內曾連續晉升5個營長，均先後壯烈殉職，就是這樣守住了五桂嶺。在夏日炎炎，遍地積屍，滿城惡臭，群蠅亂飛的環境中，官兵們日複一日地默默堅守著。
日軍第三次總攻中，不顧一切實施波浪式的自殺式的衝鋒，其攻勢之猛、兵力之大、火力之強、持續時間之久，為開戰以來所少有。第10軍以手榴彈和刺刀浴血死戰，寸土必爭，將一波又一波日軍消滅在陣地前。
8月6日淩晨3時，衡陽城西北演武坪一度被日軍突破，日軍50多人竄入城內。這是日軍首次竄入城內。8月7日拂曉，日軍第58師500多人突破城西北青山街（演武坪以南），守軍營長、團長（鞠震衰）相繼陣亡，突破口越來越大，雙方在城西北展開巷戰，其餘各陣地同時遭強大敵人圍攻。