起義部隊連夜撤出平定縣城後，即跨過正太鐵路向北挺進。天空滴滴答答雨還沒有停，盡管道路泥濘，漆黑一片，然而每個指戰員心中似乎都有一盆火，眼前都有一盞燈，個個精神抖擻，情緒高昂。途經白羊墅、韓莊、河底、牽牛鎮等村鎮，於7月5日清晨進入盂縣境。這時，已經雨過天晴，天空漸漸發亮了，在東方現出一片薄薄的玫瑰色朝霞，它像火花似的向四邊奔放著。起義大軍來到盂縣清城村外一片寬闊的場地，開始進行整編。穀雄一、赫光分別擎起綴有鐮刀斧頭的兩麵鮮紅的大旗，上麵寫著醒目的大字：中國工農紅軍第二十四軍司令部和中國工農紅軍第二十四軍政治部。在一片驚天動地的歡呼聲和掌聲中，穀雄一首先講話：“從今天起，我們這支部隊就再也不是國民黨高桂滋的部隊了，我們是中國共產黨領導下的人民的軍隊。現在，我代表中國共產黨山西特委莊嚴宣布，經過黨中央批準，中國工農紅軍第二十四軍今天正式成立了。接著他又宣布了上級的任命：赫光為軍長，穀雄一為政治委員，竇宗融為副軍長，劉明德為參謀長，劉子祥為政治部主任，楊繼雄為政治部副主任。軍下轄兩個縱隊：第一縱隊隊長靳樹生，參謀長王子周；第二縱隊隊長顧昌華（另一說為穆春芳），參謀長蒲子華。”
接著，軍長赫光以嚴肅而宏亮的聲音宣布部隊的紀律，他說：“從現在起，我們已經是中國工農紅軍了，就要堅決執行紅軍的紀律、紅軍的政策。我們是勞苦大眾的部隊，是人民的子弟兵，就要愛護老百姓，無論是行軍還是宿營，都不能擾害百姓，不能拿群眾的一針一線，對店鋪和商品絕不能損害，要公買公賣，更不能奸淫婦女。違反紀律者，無論是官還是兵，一律以軍法論處，官兵一律平等，相互間都是革命同誌，要一視同仁。”接著他又說，“我們現在行軍前進的方向是繼續向北走，要直逼五台山，爭取在那裏開辟革命根據地。現在在我們的後麵是正太鐵路，駐有正太護路軍孫楚和李生達部隊，東麵是娘子關，西麵是太原，都有重兵把守，我們隻能向北麵的山區運動。如果遇到阻擊的敵人或者後邊的追兵，我們都要勇猛衝殺，但不要戀戰，要奪路向著既定的路線奮勇前進。一路上還要搞好宣傳工作，要充分展示我們紅軍的革命氣概和英雄的風采，擴大革命的影響。”
之後，每個人脖子上都圍有紅巾的紅軍戰士，在兩麵鮮紅大旗的引導下，排著整齊的隊伍，雄糾糾、氣昂昂地踏上了新的征程。就在此時，中共山西特委向全國發出通電，宣告成立中國工農紅軍第二十四軍，點燃了北方武裝鬥爭的烈火。這不僅震驚了平定，震驚了陽泉，也震驚了三晉大地，以至整個北方地區。中共太原市委立即向黨員傳達了這一喜訊，而且散發了許多宣傳材料，當時一個油印傳單上就寫著：“莫打鼓，莫打鑼，聽我唱個兵變歌。兵變歌為誰作，為的士兵受苦多……。”
紅二十四軍長驅直進，於7月8日到達盂縣上社鎮，遇到地方武裝的阻擊，經過激戰，敵人被全部殲滅，並繳獲了一批槍支彈藥和一台收發報機。與盂縣相鄰的五台縣的敵人，聞訊後十分恐慌，縣政府立即召開緊急會議商討對策，並派出保安隊與警察前往阻擊，命令各村保安團嚴守以待。7月11日，紅二十四軍以排山倒海之勢，浩浩蕩蕩抵達五台縣柏蘭鎮，剛一交戰，敵守軍就被紅軍似風暴席卷的磅礴氣勢嚇破了膽，頓時倉惶四散，除個別頑固分子被當場擊斃外，絕大部分都舉槍投降被生擒。紅二十四軍堅持優待俘擄的政策，被俘的士兵願留者，就地編入連隊改造成為紅軍戰士，願走者馬上釋放回家為民。
紅二十四軍這幾日鞍不離馬，甲不離身地向北挺進，雖後有追兵，前有阻敵，非常艱辛，但士氣高昂，連戰連捷。官兵同吃同住同戰鬥，幹部以身作則，身先士卒。穀雄一、赫光等領導同誌有馬不騎，將馬匹讓出來用以馱傷病員和糧食物資。官兵之間、上下級之間，互相關心，互敬互愛，情同手足。這與原來高桂滋舊軍隊相比，自然是發生了翻天覆地的變化。
紅二十四軍原計劃在五台山一帶創建革命根據地，但經過偵察，敵人在這一帶加強了兵力，有重兵駐紮，如果要強攻硬拚，就難免造成重大傷亡。於是，穀雄一和赫光等研究決定，暫時改變原計劃，帶領部隊向敵人力量比較薄弱的晉冀兩省交界的阜平縣發展，等時機成熟後再謀五台地區。部隊在此地未多停留，而是從柏蘭鎮折往東南方向迂回盂縣，翻越十八盤大山，於7月13日進入河北省平山縣蛟潭莊、柳木園、洪子店一帶。7月16日，部隊進入河北省靈壽縣境，經漢山、陳莊、南營等地，沿路沒有遇到敵人的抵抗。這是因為一方麵敵人對我軍的實力和動向等情況不甚明了，另一方麵都為保存各自的實力，而不敢與我軍對抗，所以，我軍比較順利地向阜平縣挺進。