接著，中共山西特委決定派軍委書記穀雄一，迅速到高桂滋部隊，主持建立黨的軍事行動委員會，親自領導並具體組織兵變活動。特委書記劉天章直接主持製定土地革命綱領，起草武裝起義的文告，如中國工農紅軍第二十四軍布告、告農民書、告陽泉駐軍和農民、貧民宣言等。由山西省團委書記婁凝先主持製作紅二十四軍司令部和政治部兩麵大旗，以及刻製印章等等。穀雄一肩負著神聖的曆史使命，滿懷豪情地迅速投入了戰鬥。
穀雄一，原名穀文會，曾用名蘇亦雄等，1905年4月出生於河北省安國縣北各堡村。其父原在藥行學徒，後自己經營中藥材。他兩歲時父病逝，家境艱難，靠舅父資助得以上學讀書。1921年考入保定育德中學，在革命思潮的影響下，參加了學校中的進步社團，閱讀了多部馬列主義的經典著作，以及進步的刊物。他那追求革命真理的精神，很快得到學校共產黨秘密組織的重視和關懷。黨組織負責人張廷瑞同他建立了革命友誼。1924年秋，中共保定市委成立，張廷瑞為臨時代理書記。在張廷瑞等人的影響下，穀雄一積極參加了黨領導的學生運動，成為活躍的骨幹分子。1925年夏，穀雄一從育德中學畢業。正值馮玉祥在北方組建國民軍，並在張家口辦了一個“西北陸軍幹部學校”。中國共產黨主要創始人之一的李大釗，時任中共北方區委負責人，他為了建立革命軍隊，有力地開展反帝、反封建的鬥爭，便指示有關黨組織要選拔一批精幹的政工人員，到馮玉祥部隊開展工作。此時，穀雄一雖然還不是共產黨員，但由於表現出色，也被黨派往“西北陸軍幹部學校”學習。畢業後被分配到西北軍擔任下級軍官，後被提升為中校參謀。當時，在馮玉祥部隊中，有不少共產黨員擔任著領導工作，如劉伯堅、劉誌丹、劉天章、張兆豐等。穀雄一和這些共產黨人，尤其是和張兆豐關係密切。1926年冬，經張兆豐介紹，穀雄一加入了中國共產黨。大革命失敗後，在一片白色恐怖下，共產黨人被迫離開了國民軍。穀雄一隻身來到北平。1928年夏，黨組織指示他利用西北陸軍幹部學校畢業的資曆，到商震辦的河北軍事政治學校工作。商震原是陝西軍閥陸建章的舊部，後投靠閻錫山，時任河北省政府主席。他為了擴充實力，便在北平黃寺成立了河北軍事政治學校。穀雄一進入軍校後，被任命為軍校步兵第三中隊上尉區隊長，很受商震器重。穀雄一為了開展工作，便對當時的180多名軍校學員的情況，進行調查研究，經分析表明軍校中多數學員都經過大革命的洗禮，尤其是從保定二師畢業的學生，曾多次參加過黨領導的學潮鬥爭，他們思想進步，革命熱情很高。於是，穀雄一有重點地逐步培養一些骨幹分子，團結在自己周圍，在短短一年的時間裏，他先後發展了20多名共產黨員，並秘密建立了黨的基層支部。1929年7月，根據鬥爭形勢的需要，黨組織安排穀雄一離開軍校，專門在北平、天津、唐山一帶從事兵運工作。他積極協助中共北方局軍委書記張兆豐，在北平、天津及冀東廣大地區，組織工人糾察隊和農民武裝小組，並在各派係軍閥隊伍中，以及軍事幹部學校裏，發展黨的組織，建立我黨兵運工作的基點。1930年初，中共北方局決定建立平漢北段兵暴委員會，組織發動唐山兵暴。這次兵暴由張兆豐親自領導，穀雄一負責製定具體行動方案。原計劃於1930年3月4日淩晨舉事，以當時駐唐山的晉軍李生達部所屬二一四團為基礎，由唐山工人和豐潤中學學生配合，士兵暴動成功後，組建為北方紅軍第九路軍，由穀雄一出任政治委員。但是，因行動前不慎走漏了消息，敵人已采取防範措施，兵暴未能實現。穀雄一身份暴露，被敵懸賞通緝，隻得化裝逃往天津。在天津執行任務時，被敵人逮捕入獄，後經黨組織多方設法營救出獄，於1930年底，被中共北方局派往山西，任中共山西特委委員兼軍委書記，繼續從事兵運工作。中共山西特委研究決定，派穀雄一親自深入到駐平定縣的國民黨高桂滋部隊，直接組織領導武裝起義，組建中國工農紅軍第二十四軍。