華北地區的日軍遭到八路軍近兩個月的連續打擊以後，深深感到八路軍對其華北駐軍的威脅。
為了穩定華北的局勢，維護其在華北的利益，從10月上旬開始陸續調集重兵，對華北各抗日根據地進行殘酷的“掃蕩”。日軍所到之處，大肆燒殺、奸淫擄掠，殘暴至極。
在這種形勢下，發揚連續作戰的精神，堅決反“掃蕩”，成為八路軍的主要任務。百團大戰發展到第三階段，在作戰樣式上由破襲戰演變為反“掃蕩”。
1940年10月19日24時，朱德、彭德懷、左權聯名下達了第三階段的作戰命令。命令指出：“百團大戰後敵抽集兵力向我大肆‘掃蕩’”，“各部應注意速做反‘掃蕩’的準備”。八路軍首長提出的準備工作主要有以下4項：
1.敵人對我采取空前毀滅政策；我黨政軍民密切配合，深入戰爭動員，領導空室清野。
2.軍隊應集結適當位置，休整準備堅決殲敵一至二路，廣泛開展遊擊戰爭，打擊敵人，分散部隊。
3.為了保持長期不斷戰爭，注意兵員補充。
4.各部隊應有粉碎敵人掃蕩而配合作戰，互相策應，共收戰爭勝利之功。
根據八路軍總部的部署，華北抗日根據地展開了一場悲壯激烈的反“掃蕩”戰鬥。抗日軍民打擊日本侵略軍的號角又吹響了。
太行根據地是中共中央北方局、八路軍總部所在地，也是日軍重點“掃蕩”的一個地區。
10月6日，駐於冀西武安的800多名日偽軍，開始對陽邑一帶進行“掃蕩”。“掃蕩”是一種極其野蠻、殘酷的侵略行為。日軍的戰鬥編隊中，就有燒毀各種設施的放火隊；有搜索、挖掘埋藏物資的搜索隊；有負責搜山、清鄉，捉獲群眾的捕捉隊。日本侵略軍在大“掃蕩”中，妄圖以野蠻的“三光”政策摧毀抗日根據地。
10月11日，日軍調集了3000多人，分兩路對太行根據地的榆社、遼縣、武鄉、黎城之間地區進行大規模“掃蕩”。其中，日軍獨立混成第四旅團一部兵力，從武鄉出發，第三十六師團一部兵力，從潞城、襄垣出發，南北策應，“掃蕩”抗日根據地。
日本鬼子每到一地，就對根據地的兵工廠、被服廠、醫院、學校、房屋、糧食、耕畜、生產工具乃至水井、水源等，全部進行徹底破壞，對於被捕的女性則強奸、輪奸，直到踐踏致死；對於被捕的男性，或者充當苦役，或者全部殺死。
八路軍指戰員內外線配合，堅決打擊日軍。第一二九師第三八五、第三八六旅，決死第一縱隊等部隊在內線阻擊，新編第十旅在外線作戰，互相策應。
10月15日上午，新編第十旅兩個團抓住戰機，在和遼公路弓家溝地段設伏，突然襲擊日軍汽車隊，擊毀日軍汽車40多輛，殲滅押車日軍400多人。日軍遭到這次殲滅性打擊後，半個月都不敢在和遼公路上進行運輸了。
10月14日，八路軍總部從王家峪村轉移到磚壁村，磚壁村的地形比較隱蔽。緊張的反“掃蕩”開始後，彭德懷率領八路軍總部指揮機關，轉駐黎城縣栓馬、宋家莊一帶。
10月20日，日軍第三十六師團、獨立混成第四旅團近萬人，分別從武安、遼縣、武鄉、潞城等地出發，開始更大規模的“掃蕩”。
這次“掃蕩”，日軍的意圖很明顯，矛頭直指中共中央北方局、八路軍總部機關、第一二九師師部、晉察冀邊區黨政機關所在地。
這時候，根據地軍民剛剛打退一次“掃蕩”，沒有預料到日軍的第二次“掃蕩”來得這麼突然，兵力又這麼多，主力部隊還沒有來得及轉移到外線，一時處於被動地位。日軍進入合擊區的數日裏，到處進行瘋狂的“清剿”、燒、殺、搶，殘暴至極。
在冀晉邊界，日軍為了搜索抗日軍民的物資，在可疑的地方掘地三尺，洗劫之後，還實行嚴密封鎖。
更為凶殘的是，日軍在北迄五台山南台腳下的石咀，經門限石、耿鎮、高洪口、東峪口、柏蘭至下社、上社等地，南北長50餘公裏、東西寬30餘公裏的區域，血腥製造了一個無人區，在這一區域內，村莊焚盡，水源破壞，資財掠空，樹木砍光，人民群眾不是被抓走，就遭到屠戮，屍骨橫野，血流遍地。
為了擺脫被動局麵，八路軍總部和第一二九師首長決心尋求戰機，堅決殲滅一路日軍，震懾其餘日軍。廣泛發動人民群眾，大量殲滅日軍有生力量，是根據地軍民反“掃蕩”的一項最有效的手段。第一二九師關家堖戰鬥，給“掃蕩”的日軍以殲滅性打擊。
10月下旬，日軍第三十六師團所屬崗崎大隊500多名官兵，向八路軍總部附近的水腰兵工廠附近進犯。彭德懷當時正在黎城指揮部，得知這一情報後，非常惱火，命令部隊密切監視這路日軍的動向。
水腰兵工廠位於太行山脊黎城縣的黃煙洞穀中。黃煙洞四麵都是險峰，隻有南麵有一條天然的裂縫，人們進出都要通過這條裂縫。八路軍在敵後作戰，武器彈藥的補充十分困難。1939年，朱德、彭德懷、左權等八路軍領導人親自察看地形，決定在黃煙洞穀中建造一個兵工廠。
於是，八路軍指戰員精心設計，把總部的軍械所搬遷到黃煙洞穀中，經過艱苦創業，終於發展成為一個月產400多支步槍和大量彈藥的兵工廠，用來解決八路軍頻繁作戰的需要。現在，彭德懷得知花費許多心血建設起來的兵工廠受到日軍的襲擾，怒上心頭。
10月26日，崗崎大隊500多名日軍遭到根據地軍民的襲擊後，從黃煙洞向左會、劉家咀等地進犯。彭德懷命令第一二九師集中主力，堅決殲滅該部。