為了擺脫被動局麵，八路軍總部和第129師首長決心尋求戰機，堅決殲滅一路日軍，震懾其餘日軍。抗日戰爭，廣泛發動人民群眾，大量殲滅日軍有生力量，是根據地軍民反“掃蕩”的一項最有效的手段。第129師關家堖戰鬥，給“掃蕩”的日軍以殲滅性打擊。
10月下旬，日軍第36師團所屬崗崎大隊500多名官兵，向八路軍總部附近的水腰兵工廠附近進犯。彭德懷當時正在黎城指揮部，得知這一情報後，非常惱火，命令部隊密切監視這路日軍的動向。水腰兵工廠位於太行山脊黎城縣的黃煙洞穀中。黃煙洞四麵都是險峰，隻有南麵有一條天然的裂縫，人們進出都要通過這條裂縫。八路軍在敵後作戰，武器彈藥的補充十分困難。1939年，朱德、彭德懷、左權等八路軍領導人親自察看地形，決定在黃煙洞穀中建造一個兵工廠。於是，八路軍指戰員精心設計，把總部的軍械所搬遷到黃煙洞穀中，經過艱苦創業，終於發展成為一個月產400多支步槍和大量彈藥的兵工廠，用來解決八路軍頻繁作戰的需要。現在，彭德懷得知花費許多心血建設起來的兵工廠受到日軍的襲擾，怒上心頭。
10月26日，崗崎大隊500多名日軍遭到根據地軍民的襲擊後，從黃煙洞向左會、劉家咀等地進犯。彭德懷命令第129師集中主力，堅決殲滅該敵。
10月29日，日軍進到武鄉縣蟠龍鎮以東的關家堖高地宿營，準備返回武鄉。第129師首長抓住戰機，以第385、第386旅，新編第10旅主力，決死第一縱隊2個團，迅速出擊。指戰員們早已摩拳擦掌，聽到劉伯承師長和鄧小平政委的一聲號令，像猛虎下山，在關家堖高地把日軍包圍起來。當晚，八路軍總部發出命令，要求堅決殲滅該敵。八路軍指戰員連夜進行總攻前準備，決定於30日淩晨發起攻擊。
關家堖高地三麵都是斷崖，通向頂部的坡路很窄，是唯一的進攻道路。坡上那個小村子裏，原來住著10多戶人家，日軍開始“掃蕩”後，這些人家早就搬走了。日軍遭到八路軍的圍困以後，為了擺脫被殲滅的命運，半夜裏突然以一個中隊的兵力襲擊關家堖西南麵的風惱頂高地，占據風惱頂高地。關家堖和風惱頂兩個製高點，互為犄角，日軍占據這兩個製高點後，立即構築工事，固守頑抗。
戰鬥發起前，第386旅旅長兼太嶽軍區司令員陳賡對彭德懷說：“彭老總，現在拚了，以後怎麼辦？可以把崗崎放下山去，另選有利地形，打他的伏擊嘛！”
彭德懷沒有接受陳賡的建議。
彭德懷要求總部特務團參加攻堅戰。攻擊發起前數小時，左權參謀長召集八路軍總部特務團的營以上幹部布置作戰任務，要求特務團提前發起進攻。左權布置完任務後說：“我們之所以要在淩晨3時前發起進攻，是因為日軍在我們的圍困下已經疲憊不堪。眼前這兩股日軍剛剛構築完工事，現在是最疲勞的時候。我們作戰就是要趁日軍失去警惕的時候去突然偷襲。”
10月30日淩晨，第129師指戰員向被圍於關家堖的日軍發起攻擊，為了分散和孤立日軍，第129師以部分兵力攻打風惱頂。日軍在飛機的支援下，頑強抵抗。八路軍勇猛攻擊，突入敵陣，與日軍展開肉搏戰。
10月31日拂曉，八路軍殲滅日軍400多人，其餘60多名日軍逃到一個孤立突出的台地上。這塊台地頂部開闊平坦，四邊峭岩壁立。日軍上台地後，挖了不少貓耳洞，死守陣地。
下午，1500多名日軍在10多架飛機的支援下，從黃煙洞方向趕來增援。第129師首長看到關家堖的日軍基本被殲滅，來援日軍的兵力也不小，難以將其全部殲滅。為了爭取主動，命令部隊迅速撤出戰鬥。
關家堖陣地上的60多名日軍在增援部隊的接應下，丟棄280多具屍體，狼狽地逃跑了。