7月23日天色微明時，日軍在猛烈的炮火掩護下，乘著幾十艘木船和橡皮艇向著湘江西岸急駛而來。第10軍190師568團的官兵們隱藏在戰壕內，靜靜的等待著日軍的到來。當日軍快接近岸邊的時候，568團團長大吼道：“打！給我狠狠的打！”
6門戰防炮和20挺輕重機槍同時發出了怒吼，密集的彈雨向正在渡江的鬼子們打去。由於鬼子們正在渡江還沒有靠岸，因此他們無法躲避江岸上射來的子彈，因此他們隻能盡量的伏下身子來躲避彈雨。那6門戰防炮已經成為了鬼子們的惡夢，那凶猛的炮火瞬間就將木船撕碎了，船上的鬼子也都變成了湘江上的遊魂，投入了天照大神的懷抱。日軍指揮官見正麵強攻實在是太困難了，就下令放棄正麵強攻，才用部分兵力正麵佯攻，而主力部隊則迂回到568團的側翼，采取偷襲的戰術。
鬼子們的鬼心眼並沒有騙過國軍弟兄們的眼睛，就在鬼子分兵以後，568團主動後撤，進入到衡陽成東12公裏處的曹家集據點。鬼子的先頭部隊並沒有急於追擊，而是停下來等待主力渡江。這一次的戰鬥，雙方激戰了半日，568團有100多人傷亡，但日軍的傷亡卻在300人左右，可以說是初戰告捷。方先覺得到568團的戰報，便知道鬼子的主力部隊馬上就會到達，於是他下令讓第190師和預10師即可進入陣地，在衡陽以北地區阻敵前進。
23日夜，日軍主力部隊由泉溪渡江，其先頭部隊已經開始逼近曹家集，向衡陽城北的預10師陣地進逼。25日拂曉，鬼子開始進攻曹家集，在進攻之前，鬼子進行了猛烈的炮擊，將曹家集變成了一片廢墟。方先覺命令軍屬炮兵部隊進行反擊，一定要盡量的壓製鬼子的支援火力。隨後，雙方的航空部隊也加入了戰鬥，將曹家集一線的戰鬥推向了高潮。地麵上，中日兩軍的士兵們反複衝殺，曹家集陣地上伏屍累累戰況異常的慘烈。激戰到24日中午，鬼子見曹家集陣地久攻不下，便又玩起了迂回戰術，派部分兵力繞過曹家集，向曹家集西北麵發起攻擊。
黃昏時分，另一路鬼子在灣塘方向發起攻擊，當地的保安部隊稍做抵抗，便做鳥獸散了。鬼子擊潰保安部隊後，不待休整，即可便向190師的陣地撲來。190師拚死抵抗，在付出了巨大的傷亡之後，總算是阻擋住了鬼子的進攻勢頭。
夜幕降臨，在第10軍軍部裏，燈火通明到處都是忙碌的身影，電話鈴聲早已是響成了一片，參謀們正在聲嘶力竭的給各部下達著作戰命令。方先覺站在地圖前，仔細的看著敵我態勢，分析著目前的戰場局勢。第10軍少將參謀長王榮波走進了作戰室，對軍長方先覺說道：“軍座，190師與預10師已經先後接敵，目前正在與日軍苦戰，損失頗為巨大。我看能不能從54師那邊抽調一部分部隊，支援一下190師與預10師。”方先覺聽完參謀長的建議以後，就咬著牙說道：“不能從54師的防線抽調兵力，目前戰局還不明朗，一旦從54師的防線抽調兵力，就會削弱54師的防禦力量，一旦鬼子突然對54師的防線發起攻擊，那我們可就被動了。”王榮波點了點頭，然後說道：“軍座，你說的沒錯，到是我有些沉不住氣了。我這就去前線去看看，給前線的弟兄們鼓鼓勁，讓他們一定要堅持住。”說完就要往外走，這時方先覺叫住了他，並誠懇的對他說道：“榮波兄，你我共事多年，可以說是患難見真情了。這次堅守衡陽，我是在校長麵前立了軍令狀的，希望榮波兄還能一如既往的支持小弟。”王榮波給方先覺敬了個軍禮，斬釘截鐵的說道：“軍座，榮波早已追隨你多年，早已視你為知己。愚兄並非是黃埔係出身，但承蒙軍座賞識，並極力栽培，愚兄感激不禁，定當盡心竭力輔佐軍座。”
26日拂曉，日軍重炮部隊推進到曹家集一線，集中火力向曹家集傾瀉著彈雨。上午10時許，日軍步兵部隊在飛機和重炮等重武器的支援下，向第10軍發起了全線攻擊。鬼子大膽的發起突擊，並且發起了連續衝鋒，攻擊重點就是曹家集陣地。此時的曹家集陣地早已成為了血肉磨盤，不斷的將一條條鮮活的生命磨成了碎肉。
衡陽城正南麵陣地是五桂嶺、楓樹山、湘桂鐵路機修廠一線，日軍由於在曹家集陣地受挫，便把進攻目標又轉向了城南。54師8000多官兵堅守在這裏，從27日早晨開始，他們已經與鬼子激戰了整整一個上午了。進攻的鬼子已經被54師死死的擋在了城南，雖然鬼子發動了數次大規模的進攻，但除了丟下了數百具的屍體之外，他們並未獲得任何實質性的收獲。