軍閥的中原大戰，使山西的局勢發生了很大變化。在中原大戰中，閻錫山和馮玉祥戰敗，敗軍25萬人一齊退入山西，全省105個縣中，幾乎沒有一個縣無戰敗的客軍駐紮。山西的“土皇帝”閻錫山被蔣介石逼得下台逃往大連，蔣介石的國民政府改組了山西省政府，並且指使山西省銀行肆意濫發紙幣，使全省物價飛漲，通貨急劇膨脹，金融極度混亂。大批敗軍蝟集，供應浩繁，這些隊伍的糧秣及一切所需，都要向駐地勒索攤派。供應偶有不周，便以武力威脅，而且，這些部隊奸淫擄掠，毆打百姓更為普遍，給山西人民帶來了嚴重災難。同時，蔣介石還下令對山西駐軍進行編遣，縮編裁員，有的部隊因不滿編遣而產生嘩變，山西局勢一片混亂。
1930年9月，中國共產黨在上海召開了擴大的六屆三中全會，結束了以李立三為代表的“左”傾冒險主義在中央的統治。這次會議對紅軍遊擊戰爭和農村根據地的地位有了新的認識。會議指出：中國共產黨當前的主要任務是，鞏固和發展蘇維埃區域和紅軍，加強黨在白區的工作，組織工人的經濟和政治鬥爭，積極發動農民的各種鬥爭和國民黨軍隊的嘩變，並努力準備武裝暴動。當時，蔣介石正集中力量，加緊對江西中央蘇區的“圍剿”。為了分散蔣介石的力量，減輕中央蘇區的壓力，黨中央根據山西各種矛盾的激化情況和黨的工作發展狀況，決定把山西作為創建北方革命根據地的重點地區，以造成南北呼應的局麵。主持會議的瞿秋白和周恩來，還與中共北方局書記賀昌談話，對山西的革命鬥爭做了重要指示。同年10月，中共北方局召開擴大會議，傳達了中央的指示，並決定在山西要組織發動革命兵變，盡快組建工農紅軍，創建蘇區，將山西變成江西第二。為了加強對山西工作的領導力量，於年底相繼派出了1921年經李大釗介紹入黨的、富有黨務工作經驗的劉天章赴太原，擔任中共山西特委書記，派出富有兵運工作經驗的穀雄一，擔任中共山西特委委員兼任軍委書記。
1931年2月，北方軍委秘書薄一波和順直省委山西巡視員賀昌先後到達太原巡視和指導山西黨的工作。賀昌和薄一波在太原接連參加了山西特委召開的幾次會議。在一次會議上，穀雄一代表山西特委提出要在高桂滋部舉行兵變的計劃，賀昌、薄一波代表順直省委完全同意這一意見，並和與會同誌作了研究。
1931年4月，中共山西特委在賀昌同誌直接參加並領導下，討論了山西黨的工作任務和方針。在確定的各項具體任務中，很重要的一項即是：加強黨在閻錫山、馮玉祥部隊中的工作，加緊對自發兵變的領導，爭取轉變為工農武裝隊伍。緊接著又召開了軍事工作會議，集中討論了發動革命兵變的問題。會議分析認為，隨著黨在南昌組織武裝起義，創建了中國工農紅軍和革命根據地，並且兩次擊敗了國民黨反動派對革命根據地的“圍剿”，極大地鼓舞了全國人民的革命信心，全國範圍掀起了革命高潮，尤其以南方更為轟轟烈烈。在中國北方地區，由於軍閥連年混戰，人民痛苦不堪，廣大群眾對反動統治和壓迫的痛恨與日俱增。近年來黨在工人、農民、士兵中大力開展了革命的秘密活動，群眾的覺悟日益提高。在一些國民黨的部隊中，士兵們深受反動軍官的橫暴欺壓，長期欠餉，生活困苦不堪，這就迫使更多的士兵要求走上革命的道路，士兵們迫切盼望舉行武裝暴動。在山西駐軍中就有多處接連發生自發的兵變鬥爭。這些都為發動武裝起義奠定了良好的群眾基礎，提供了有利的條件。而且，還討論認為，在山西發動武裝起義，創建紅軍，建立革命根據地，其意義非常重大，它不僅僅是滿足部隊中多數士兵的革命要求，而且它可以極大地動搖山西以至華北敵方的軍心，可以直接而有力地鼓舞華北人民的革命鬥誌，也會有力地支援中央蘇區反“圍剿”的鬥爭。會上對山西組織兵變的工作進行了全麵而細致的部署，特別明確決定，首先要在黨的基礎工作比較堅固，組織武裝起義成功把握比較大的高桂滋部隊中發動兵變，依托五台山開辟革命根據地。隨即，中共山西特委將計劃報送黨中央後，很快得到中央軍委批準，並明確指示這支武裝起義部隊，組成中國工農紅軍第二十四軍。