9月25日下午4時，一段隱蔽的坑道終於挖到了日軍的碉堡底下。隨著一聲驚天動地的爆炸聲，日軍主碉堡西南麵的外圍工事被炸毀了。早已等候在工事旁的突擊隊員冒著煙霧，迅速衝向日軍主碉堡，一架架雲梯很快架到12米高的碉堡上，手榴彈雨點般地落在碉堡裏。碉堡內的日軍正被巨大的爆炸聲驚得失魂落魄，哪裏想得到八路軍的攻擊來得這樣突然。
經過一番艱苦的戰鬥，八路軍攻占榆次縣城，殲滅日軍中隊長以下400多人，繳獲各種火炮12門，輕重機槍17挺，步槍200多支。
9月27日拂曉，右翼隊向遼縣以西的石匣發起攻擊，激烈的戰鬥一直進行到天黑，八路軍指戰員占領了石匣。
9月28日，左翼隊和右翼隊調整部署，準備協同新編第10旅進攻遼縣。這時候，駐在和順、武鄉的日軍同時出動，援助遼縣。由於敵情變化，八路軍總部命令部隊停止進攻遼縣，以一部兵力牽製南下之敵，其餘兵力轉移，準備在紅崖頭、官地堖地區伏擊日軍。第129師根據八路軍總部的命令，即組織部隊轉移，並於29日24時將管頭的日軍據點攻克。
9月30日，天氣晴朗，上午9時，左翼隊第386旅的部隊進至紅崖頭以南的山地，右翼隊第385旅2個團的官兵正向伏擊地域開進時，從武鄉出動的600多名日軍意外地進入預定伏擊地區，日軍的先頭部隊正好與右翼隊的官兵在途中遭遇。兩軍相遇勇者勝。八路軍有勇敢戰鬥的優良作風。第385旅的指戰員途中遭遇日軍，很快占領有利地形，同日軍激戰。左翼隊第386旅迅速向日軍的後尾和側翼發起攻擊。
日軍指揮部得知增援部隊在途中遭遇八路軍，陷入西麵包圍之中，立即調了8架飛機來掩護。被圍日軍看到空中轉來轉去的飛機，即命令部隊搶占周圍高地，負隅頑抗。八路軍指戰員向被圍日軍連續發起10多次攻擊，激烈的戰鬥進行了數十小時，殲滅了數百名日軍，其餘日軍依托已經占領的有利地形，繼續頑抗。
正當兩軍在臨時陣地上處於對峙狀態時，日軍的增援部隊趕到了。原來，從和順、遼縣西援的500多名日軍一路急行軍，向狼牙山的阻擊陣地發起猛烈進攻。擔任阻擊任務的第32團官兵利用有利地形，堅決抗擊。這路日軍見從正麵難以突破，就以主力迂回到狼牙山主陣地的側後，這對擔任阻擊的八路軍構成了嚴重威脅。9月31日上午10時，日軍突破了狼牙山的阻擊陣地，向左翼隊指揮所附近逼近。
八路軍總部看到，遼縣、武鄉的日軍已經會合，從陽泉南援的1000多名日軍已經抵達遼縣以北地區，戰場情況發生重大變化，決定結束榆遼戰役。部隊撤出戰鬥後，榆次又被日軍占領了。
10月5日，劉伯承通知第32團團長宗書閣、政委李震、副團長周明國到師部彙報狼牙山阻擊戰情況，3人心情沉重，以為肯定要受到劉伯承的批評。誰知劉伯承熱情地說，請你們來，主要是總結作戰經驗。中午，劉伯承在飯桌上又囑咐他們說：“你們回去告訴大家，部隊打得很好，要多鼓勵，不要輕易批評。幹部間要講團結，共同總結經驗教訓，不要互相埋怨。你們都還年輕，不要因為一仗沒有打好就背包袱，來日方長，努力學習軍事知識，鑽研戰略戰術，這對團以上的指揮員來說尤為重要。”劉伯承一番話，語重心長，既是總結，又有要求，說到了3名指揮員的心坎裏，是對打贏下一場戰鬥的深刻動員。
10月14日，日軍的一支運輸部隊在和順至遼縣之間的公路上行進。八路軍得知這一情報後，事先在弓家溝設伏。當日軍的運輸隊經過八路軍伏擊區時，遭到猛烈打擊，40多輛汽車被擊毀。
榆遼戰役，日軍獨立混成第4旅團遭到八路軍第129師指戰員的殲滅性打擊，先後被殲滅近1000人，僅100多人得以幸存。榆次城內日軍儲備夠用一年的糧襪食武器和彈藥，全部被八路軍繳獲。
賀龍接到八路軍總部的電報以後，考慮到晉西北的日軍正被我軍打得暈頭轉向，應抓住戰機繼續給予打擊，部隊行動不一定要待到9月20日。為此，賀龍向彭德懷請示，第120師可否提前於9月15日開始行動。
彭德懷看了賀龍的電報以後，表示完全同意第120師在9月15日破擊忻寧段同蒲鐵路的計劃。此前，彭德懷給賀龍的複電中曾指出：“連日，增援正太路之敵正在該路以南與劉鄧集團作戰，該路以北聶集團連日收複會裏村、上下村、興道等據點，正圍攻盂縣中，你們乘此機會破擊極好（如能提早幾天更好）。”