八路軍第129師師長劉伯承（中）、政委鄧小平（右）、參謀長李達（左）在太行區8月20日，劉伯承、鄧小平率領師前方指揮所，進至廣陽以南的明水頭。
戰役第一階段，第129師所屬各部隊分兩路行動。一路是以第129師6個團，決死第一縱隊2個團，8個獨立營的兵力，組成左翼破擊隊、右翼破擊隊和中央縱隊，攻擊正太鐵路西段。另一路以2個團會同平定、遼縣、榆次等地方武裝一起，破擊平遼公路、榆遼公路，牽製各據點的日軍，保障主力部隊側後的安全。
左翼破擊隊由第386旅所屬第16團、決死第1縱隊所屬第38、第25團組成，主要任務是破擊正太鐵路山西省內的壽陽至榆次段。
8月20日夜晚，大破襲戰打響了。
左翼破擊隊在第386旅陳康旅長的指揮下，第16團用5個連隊的兵力首先向蘆家莊車站發起攻擊。蘆家莊車站駐有日軍原田大隊的一個中隊，有日軍40多人，偽軍20多人。戰鬥打響後，第16團的官兵一舉突入蘆家莊，連續攻克了車站外圍的4座日軍碉堡，殲滅了碉堡內的日偽軍，繳槍50多支。
第16團向榆次攻擊的2個連在工兵分隊的配合下，炸毀了蘆家莊到段延之間的所有橋梁。第38團順利攻占了上湖、和尚足等車站。第25團攻克了馬首車站。各據點的日軍遭到八路軍的突然打擊，倉皇向壽陽逃跑。
8月21日，天剛破曉，八路軍總部就忙碌起來，彭德懷收到了劉伯承師長發來的電報，電報稱：“陳康旅連破碉堡4座，全殲守敵。”這是彭德懷收到的第一份告捷電報。緊接著，聶榮臻司令員也來電告捷。
右翼破擊隊由新編第10旅第28團、第30團組成，主要任務是破擊山西省內陽泉至壽陽段的正太鐵路。戰鬥打響後，第28團兵分3路，向狼峪、張淨、芹泉3個車站的日軍據點發起攻擊，8月23日，八路軍指戰員攻克狼峪、芹泉的日軍據點。第30團的指戰員向桑掌和鐵爐溝據點的日軍發起攻擊，殲滅日軍130多人，當晚占領桑掌，徹底破壞了桑掌大橋。
這天突然下起了大雨。劉伯承、鄧小平命令部隊抓住戰機，按計劃行動，努力破擊交通線。
第129師總預備隊第772團兩次襲擊平定西南的日軍據點，殲滅據點內的大部分日軍，占領治西。第769團把落摩寺的日軍連續圍困10天，據點內的日軍無法突圍。8月31日，八路軍把該據點內的日軍全部殲滅。
8月21日，劉伯承、鄧小平命令擔任總預備隊第14團搶占獅堖山高地，獅堖山位於陽泉西南4公裏處，是正太鐵路西段的一處咽喉要地，占領了獅堖山高地，就可以阻止日軍從側背攻擊破路部隊。當天，第十四團即攻占獅堖山高地，控製了陽泉以西10多公裏的鐵路線，還對陽泉構成了嚴重威脅。
日軍丟失獅堖山以後，連忙調飛機支援，企圖奪回獅堖山。8月21日上午，日軍集中了在陽泉的全部兵力，還把在陽泉的數百名日僑民也武裝起來，強迫他們參加戰鬥，向獅堖山進犯。23日，日由200人增加到600多人，在近20架次飛機的支援下，向堅守獅堖山的八路軍發動猛攻，日軍還不惜使用化學武器。第十四團官兵英奮戰，打退日軍的多次進攻，殲滅日軍400多人，有力地保障了破路部隊側翼的安全。為了避免不利態勢下的決戰，第14團官兵堅守獅堖山6晝夜後，主動撤出獅堖山主峰，以少數兵力繼續鉗製日軍，主力執行新的破路任務。
為了擴大戰果，連續打擊日軍，教育部隊，鼓舞士氣，第129師提出了一些深入指戰員心靈深處的戰鬥號召。其中有“五不”等：
“不留一根鐵軌，不留一根枕木，不留一個車站，不留一個碉堡，不留一座橋梁，徹底破壞路基。”
經過10多個晝夜的戰鬥，八路軍第129師的部隊控製了正太鐵路西段除陽泉、壽陽外的大部分據點和火車站，破壞了大量鐵路路軌，炸毀了一些橋梁和隧道。正太鐵路線上，許多地段被八路軍指戰員夷為平地，被日軍看做“鋼鐵封鎖線”的正太鐵路成了一條癱瘓的死路。
8月23日，朱德、彭德懷、左權和八路軍政治部主任羅瑞卿、副主任陸定一聯名致電聶榮臻、賀龍、關向應、劉伯承、鄧小平，嘉獎部隊官兵，要求猛烈擴大戰果。
八路軍首長的嘉獎鼓舞了前線指戰員的士氣和信心，破襲正太鐵路的戰鬥打得更激烈了。劉伯承反複告誡部隊指戰員：“對正太路破壞得越徹底，我們就越主動。”劉伯承要求各破路縱隊的負責人必須親自察看重要設施的破壞情況，破壞不夠徹底的，要組織力量徹底破壞。
根據8月8日的《戰役行動命令》，“賀關集團應破襲平遙以北同蒲線，及破壞同蒲線及汾離公路。（部署）應以重兵置於陽曲南北，阻敵向正太線增援。該集團原擬一個團在陽曲以南配合作戰，兵力較小，應加強之。如汾河可能徒涉時，該集團陽曲以南配合作戰部隊，應力求以約2個團之兵力進至榆次南北地區，直接加入劉鄧集團作戰，並歸劉鄧直接指揮之，對晉西北鹿地內各個敵之據點與交通點，應分派部隊積極破襲，相機收複若幹據點。”