由於晉東要隘娘子關和晉北咽喉忻口相繼失守，使華北最後一個戰略要點太原門戶洞開，曆時23天的太原保衛戰功敗垂成。1937年11月8日，太原淪陷，華北正麵戰場隨之解體，日軍也將主力轉移到津浦線和長江流域。這也為共產黨、八路軍放手發動群眾，開展遊擊戰爭，建立抗日根據地，提供了有利時機和廣闊天地。
根據中共中央和毛澤東的指示，八路軍總部隨之決定並部署了3師主力由正規軍轉化為遊擊軍，由正規戰爭轉化為遊擊戰爭，四方分兵，挺進敵後的具體事宜。
當第115師在主力隨八路軍總部兼程南下馳援娘子關時，師政治委員聶榮臻率領該師餘部留守五台山地區，開展遊擊戰爭。經過1個月的艱苦工作，在晉東北廣泛建立了抗日秩序，密切了同群眾的聯係，初步奠定了抗日根據地的基礎。1937年11月7日，晉察冀軍區在五台縣成立，到1938年初，以晉東北五台縣為中心的晉察冀敵後已經拓展到包括43個縣、1200餘萬人口的廣大地區。這是中國共產黨在山西建立的第一個敵後抗日堡壘。
第120師早在忻口會戰時，就在政治委員關向應的率領下分赴晉西北岢嵐、興縣等14個縣，進行以發動群眾為中心的根據地的創建工作。太原失守後，賀龍率120師主力開赴晉西北敵後，到1938年1月，共產黨、八路軍在這一地區進一步站穩了腳跟，以管涔山為依托的晉西北敵後區初現輪廓。
八路軍總部和第129師先後在和順縣石拐鎮召開重要會議，決定第129師即行完成戰略展開，創建以太行、太嶽山脈為依托的晉冀豫抗日根據地。會後，全師根據總部和師部的部署，一麵以主力一部分別進至平漢鐵路以西、正太鐵路以南、同蒲鐵路以東一線，開展遊擊戰爭；一麵抽調大批幹部和先後分遣2／3以上兵力，組成工作團和遊擊支隊，分散到晉冀豫廣大地區，開辟抗日根據地。到1938年4月初日軍九路圍攻前，晉東南敵後區初步形成。
1937年12月，第115師主力進抵洪（洞）、趙（城）地區，與先期進駐臨汾、洪洞的中共中央北方局、八路軍總部和中共山西省委密切配合，全麵進行抗日根據地的創建工作。1938年2月初到3月底，師部率第343旅先後深入汾離公路以南、同蒲鐵路以西的晉西南各縣，廣泛開展遊擊戰爭，全力控製呂梁山脈南端，保衛黃河河防。在配合國民黨軍完成側擊、鉗製日軍由晉中南進任務後，又進一步打退了敵人對晉西南和黃河渡口的進犯，保證了黨中央和陝甘寧邊區的安全，開創了晉西南抗日鬥爭的新局麵。
晉察冀、晉綏、晉冀豫邊區和晉西南區的開辟，為開展華北敵後遊擊戰爭，創造了鞏固的戰爭後方和前進的戰略基地。
太原失守後，山西各地黨組織和八路軍領導機關明確地將建立和擴大抗日武裝作為中心任務，大力在山西全省進行了主力部隊、地方遊擊隊和人民自衛隊相結合的三位一體的抗日武裝的建立和發展工作。
各級抗日政權建立後，遵照中共中央和北方局擴大八路軍的指示，各地立即在轄區內廣泛發動組織群眾，很快掀起了群眾性的參軍熱潮。八路軍3個師由此在短期內普遍得到迅猛發展。第115師留守五台山的部隊，在根據地初創時隻有3000人，經過僅僅2個月的時間，就擴展到3萬餘人。第120師東渡黃河時兵力為3個團8200人，1938年初擴建整編後，全師主力增至6個團2.5萬人。第129師的總兵力也達到3萬人。到1938年初，3個師的主力由入晉時的3萬餘人增加到近10萬人，同年秋進一步擴展到25萬人，切切實實成為在山西和全華北堅持持久抗戰的主力軍。在此期間，山西新軍在八路軍的幫助下，也達到迅速發展。山西青年抗戰決死隊由初創時的1個總隊壯大到1938年春的4個縱隊，另外還有工人武裝縱隊、政衛隊和戰爭動員總會領導的13個遊擊支隊。