1930年11月初，中共山西省委（一個月後改為特委）根據中共北方局的指示，在山西各地的駐軍中開展兵運工作，派李誌敏以省委特派員的身份到高桂滋部秘密巡視黨的工作，為發動武裝起義做準備。同時，省委還從高桂滋部隊中先後調出拓克寬、吳岱峰等17名共產黨員，參加晉西紅軍遊擊隊的組建工作。
1931年4月，中共山西特委決定並經中央軍委批準，發動高桂滋部舉行武裝起義，創建工農紅軍，並派軍委書記穀雄一親自領導和具體組織。同時，中共山西特委為了加強骨幹力量，還派遣山西軍官教導團的秘密黨支部書記馬芳庭，以及共產黨員的軍官吳耀禮和牛清明3人，從太原到平定打人高桂滋部。馬芳庭通過私人關係打入高部，以給一團副營長劉明德（共產黨員）當勤務兵的身份，從事組織聯絡工作。吳耀禮、牛清明兩人，借招募新兵之機，以普通士兵身份進行活動。
而且，為了配合此次武裝起義，中共山西特委還派人到距平定縣城15裏的陽泉礦區，在煤礦和鋼鐵廠等產業工人集中區進行活動，發動工人開展經濟鬥爭和罷工活動等。中共太原市委還指示黨員較多、工作最活躍的南海街黨支部，組織數十名失業工人做好準備，一旦武裝起義成功，便投奔起義部隊參加紅軍。
穀雄一奉命到達平定後，即刻與赫光等人召開黨員骨幹會議，傳達中共山西特委關於組織武裝起義的決定，並認真研究了發動武裝起義的詳細計劃，以及工作分工等。大家深入分析了部隊的現狀，認為和山西特委對該部隊的情況估計和看法完全一致，發動起義的條件比較成熟，成功的把握比較大。尤其是第一團應當成為起義的骨幹力量，共產黨員的數量比較多，在營、連、排中下級軍官中，共產黨員占的比例比較大，有的營、連基本上控製在共產黨員的手中。而且，第一團駐紮在平定縣城內，緊守著高桂滋的師部和地方行政首腦機關，一旦起義槍響，對迅速控製這些敵要害部門比較便利，因此，加強一團的準備工作應成為重點。經過詳細的預測，認為需作兩種準備：第一種是把高桂滋部的三個團的兵力全部拉出來，組成四個縱隊，約3000多人；第二種是把一團全部拉出來，加上二、三團各一部分，約1700人左右，組成兩個縱隊。要爭取第一種設想，確保第二種設想的實現。之後，在穀雄一和赫光的領導下，組成了領導武裝起義的軍事委員會，以及政治部、宣傳隊、特務隊等組織，分頭按計劃開展工作。
正當武裝起義的各項準備工作緊鑼密鼓地順利進行時刻，一件預料不到的事情突然發生。1931年6月下旬，由於原在中共中央特科主持日常工作的顧順章，在武漢被捕後叛變革命，使在上海的共產黨秘密組織接連遭到破壞，在高桂滋部潛藏的共產黨員、一團二營八連的排長劉玉珊也受到牽連而被捕（劉玉珊是陝北人，在獄中堅貞不屈，嚴守黨的機密，後被高桂滋下令殺害）。這一突發事件，在部隊中引起很大反響，有些士兵情緒波動，有些已經爭取過來的士兵開始搖擺，黨的組織已麵臨被破壞的危險，起義也就難免夭折，形勢萬分緊急。然而此時，穀雄一正在太原向中共山西特委彙報工作。情急之下，赫光隻得立即派共產黨員、副營長劉明德借故外出，星夜趕赴太原向中共山西特委請示。特委書記劉天章聽了劉明德的情況彙報後，也感到驚愕和憂慮。經過與穀雄一、劉明德一起分析了錯綜複雜的危險局勢後，毅然決定要當機立斷盡快發動武裝起義。命穀雄一、劉明德急速返回平定，傳達此項決定，選擇時機立即舉事。
1931年7月3日下午，穀雄一從太原返回，在陽泉火車站一下車就趕赴平定，在平定縣城東的一個破窯洞裏，召開了有10多名共產黨員骨幹參加的緊急會議。穀雄一在會上首先傳達中共山西特委關於立即發動武裝起義的決定。他說：“山西特委原來並不急於馬上發動武裝起義，因為不久前黨中央召開了六屆三中全會，批判了李立三路線的錯誤，山西特委計劃把工作的重點放在進一步組織和發動群眾方麵，以便為大規模地武裝起義創造更好的條件。但是，現在情況突然發生了變化，我們必須搶在敵人前麵動手，形勢所逼不得不提前舉事。”然後，讓大家討論如何具體執行特委的決定。大家在討論中一致同意特委的決定，而且認為明天（7月4日）正是發動起義的最佳時機。因為這天是星期六，高桂滋要帶領下屬3個團的團長等人，回北平給其父慶賀六十大壽。師、團的主要頭目不在，一些軍官自然就會放鬆，他們急著回家與妻兒團聚，一些營、連就形成群龍無首，正是舉事的天賜良機。穀雄一、赫光當即決定於7月4日晚舉行起義。接著又詳細研究了具體的行動方案，並分工進行準備。
7月4日，天陰沉沉的，雨斷斷續續地下著，一會兒滂沱大雨往下澆，一會兒是淅淅瀝瀝往下滴，大一陣子，小一陣子，停一陣子。這種天氣令人心中煩燥，也給起義行動帶來諸多不便，但是，這卻動搖不了革命戰士火熱的決心。天黑後，黨員骨幹又集中在一起開會，具體檢查起義行動的各項準備工作完成情況，進而部署當晚行動的作戰方略。由赫光宣布當晚12時為武裝起義的時間，以鳴槍為號，領導這場戰鬥的負責人為穀雄一、赫光、劉明德3人。具體任務是：第一團攻占高桂滋的師司令部，砸開監獄解救被關押的同誌，封鎖反動軍官的住所，破壞交通及通訊聯絡，嚴密監視正太護路軍孫楚和李生達部隊的動向。在戰鬥中如被頑固抵抗的敵人包圍，部隊可從城牆東南角通向城外的暗道撤出（此暗道在兩天前才挖好備用）；第二、三兩團駐地距縣城較遠，起義部隊擔任破壞兵營及攻打陽泉火車站的任務。起義成功後，整個起義部隊向北挺進，準備在五台山一帶開辟革命根據地。
然而，就在人們懷著激動的心情，迎接這一莊嚴時刻即將到來的時候，高桂滋師部手槍連的一個班長（共產黨員），在“興盛魁”飯鋪喝酒，因酒醉泄密，被敵人覺察。穀雄一、赫光、劉明德等人聞訊後，立即商量應急措施，果斷決定提前半小時，即午夜11時30分開始行動，使敵人措手不及，隨之立即通知有關同誌。
就在即將開始行動時刻，敵一團二營營長劉孔彰察覺營中情況異常，也頓時產生了懷疑，遂派勤務兵通知時任七連連長的竇宗融和八連連長的王子周，立即前往司令部開會。竇宗融和王子周均為共產黨員而且是骨幹，他倆立即碰頭商量，認為去後凶多吉少，必須設法拖延，於是先把傳令的勤務兵軟禁起來。正當他倆心急如焚的時候，一個神聖而莊嚴的時刻來到了。這就是公元1931年7月4日午夜11時30分，在太行山上這座古老的山城中，中國北方武裝反抗國民黨反動派的第一槍打響了。他們立即帶領部隊投入戰鬥，首先派一個排兵力，攻打營部捉拿營長劉孔彰。在營部門口正碰上五連連長（係高桂滋的表弟）帶人負隅頑抗，立即將其擊斃。劉孔彰聽到槍聲抱頭鼠竄，迅速從後門逃跑。這時，平定城內槍聲大作，潛藏在通訊排的共產黨員陳子毅，在切斷了敵司令部指揮聯絡的所有通訊網絡後，又派人到縣城的電話局進行破壞，使平定城的所有通訊網絡陷於癱瘓。這時，起義部隊已占領了縣政府，打開了監獄，釋放了全部囚犯，其中有的人馬上就參加了起義部隊的戰鬥。在戰鬥中有個別反動軍官還在企圖頑抗，都被當場擊斃。起義部隊冒雨兵分三路攻打高桂滋的司令部。由於敵司令部位於平定縣的上城，而且敵人已有準備，師直屬的手槍隊和憲兵連火力密布，居高臨下進行阻擊，起義部隊幾次衝鋒都未能奏效。此時，在正太鐵路附近，還駐紮著正太護路軍孫楚、李生達的晉軍部隊。穀雄一、赫光等怕拖延過久，會引起孫楚、李生達部的察覺而派兵增援，所以隻好改變原計劃，顧不上接應遠在城外數裏的第二團和第三團。起義軍的宣傳隊在平定縣城的大街小巷張貼了起義軍的文告，和一批標語和傳單後，趁夜迅速撤出平定縣城。從起義槍響至結束戰鬥僅半個多小時的時間。第二團和三團的同誌因未能及時得到提前起義的通知，所以，雖聽到城內槍聲大作，但由於情況不明，也不敢貿然行動。何況兵營的營門已由軍官站崗，嚴密封鎖，因此大隊人馬難以拉出，隻有軍官中的少數黨員骨幹，借了解情況為名，通過多種方法闖出營門，急速追趕起義部隊。參加武裝起義的有原一團的八個連，以及第二、三團和師直屬連隊的部分人員，共計1200餘人。這次武裝起義的戰鬥雖然激烈，但由於準備充分，井然不紊，兵強將勇傷亡極少。起義部隊紀律嚴明，秋毫無犯，深受群眾的擁護。當起義部隊從城中撤出向北轉移時，在縣城西關王公坡居住的光侗叔侄二人，還主動熱情的為部隊做向導。平定縣著名的民間藝人郗富根，事後編了一段評說如實反映了當時的情景：“二十三軍（指高桂滋部在入晉前的舊番號）駐平定，睡到半夜變了心。各街道，亂哄哄，槍彈響了一點鍾。劫了獄，跑了人，嚇壞了縣長李肇林（指當時平定縣長）。手槍隊，在上城，攻的快，把得緊，差點摧了榆林門。走西門，出東門，嘟嘟嗒嗒真威風。沿街走，紀律明，沒有遭害買賣人。”