彭德懷表揚了一年來邊區工作的成績，特別是對盲動主義有所克服表示讚賞。同時，又向黃公略介紹了湘贛邊區和紅四軍的群眾工作以及建設根據地和軍隊政治工作的經驗，黃公略深受啟發。根據湖南省委指示，兩部合編，取消湘鄂贛邊境界支隊建製，仍稱紅五軍，下屬3個縱隊，全軍共3000餘人。彭德懷任軍長，黃公略任副軍長，滕代遠任政治委員。合編後，從10月到11月，部隊又與敵作戰數次，所向披靡，大大鼓舞了邊區人民恢複和鞏固蘇區的信心。
黃公略不僅以英勇善戰著稱，他還是一位善於治軍的紅軍將領。1929年秋黃公略擔任紅五軍副軍長後，通過彭德懷、滕代遠了解到朱毛紅軍的建軍經驗，他認識到一支缺乏強有力的政治工作的部隊，決不可能克服重重困難去戰勝強大敵人，而使自己發展壯大。同年11月，滕代遠因病離隊休養，黃公略被選為紅五軍軍委書記。黃公略擔任軍委書記後，非常重視加強部隊黨的建設和思想教育工作。他協助彭德懷率領部隊在蓮花進行集中整訓，針對部隊中不少共產黨員組織觀念淡薄、地方主義嚴重等問題，從普遍加強思想教育入手，主持軍委會議對二、三縱隊的共產黨員規定了六條標準，對每個黨員按照六條標準進行重新登記，符合這6條標準的即準予恢複組織生活。經過這次嚴格的整訓，廣大共產黨員在思想上都有較大的進步，在群眾中能真正起到黨員模範作用了。
11月底，彭德懷、黃公略等率領一、三縱隊開始向南活動。12月中旬，到達湘贛邊區的永新、遂川一帶。這時，紅四軍尚遠在閩贛邊。贛南特委和湘贛邊特委為了適應形勢的發展，決定贛西南的獨立二、四團及延福、富田縱隊等地方部隊合編組成中國工農紅軍第六軍。他們向紅軍提出了派黃公略當軍長的要求，紅五軍黨委滿足了他們的要求。從此，黃公略離開了紅五軍，開始走上了創建一支新的工農紅軍的光輝道路。
黃公略出任紅六軍軍長，將這支成分複雜、封建觀念濃厚的部隊訓練得紀律嚴明，勇敢善戰。率領紅六軍轉戰贛西南，將原本分散的根據地連成了一片。紅六軍改稱紅三軍後隸屬紅一方麵軍。黃公略得以與朱德、毛澤東並肩作戰，屢立戰功。時人稱他們為“朱毛彭黃”。
1930年初，正式組建紅六軍(七月改稱紅三軍)，黃公略奉命出任紅六軍軍長。紅六軍是由江西獨立第二、三、四、五團和永新、蓮花、寧岡等縣的赤衛隊編成。贛南的地方紅軍不乏強將精兵，也有著光榮的戰鬥曆史，但因長期分散活動，存在著組織紀律鬆懈、地方觀念較重等問題。為了加強紅六軍的建設，黃公略寫信給毛澤東和朱德，要求抽調一批紅四軍的軍政幹部充實到紅六軍，並向彭德懷請教紅五軍的建軍經驗。紅四軍和紅五軍對紅六軍積極給以支持，先後派大批幹部到紅六軍工作，大大提高了紅六軍領導幹部的軍政素質。
黃公略知人善任，重視發揮每個幹部的特長。他對從贛南紅軍來的各團幹部充分信任，大膽使用，並委以要職，他還重視發揮知識分子和各種專門人才的作用。對讀過商業專科的劉士奇，大學畢業的陳毅和蔡會文以及學醫的戴濟民、錢壯飛等都放手委以重任。由於黃公略的博大胸懷和知人善任，使全軍的各級領導班子親密團結，密切合作，從而有力地推動了各項建設工作的進程，提高了部隊的戰鬥力。在黃公略的帶領下，全軍各級領導班子團結一致，親密合作，有力地推動了部隊各項建設工作的開展。
黃公略具有較高的文化素養，他能寫會畫，常常親自草擬作戰計劃和撰寫戰鬥總結。他特別喜愛看書，一有空隙時間，他就抓緊學習，經常深夜還在挑燈夜讀。紅軍指戰員絕大多數出身貧寒，讀過書的很少，黃公略深知文化知識對提高部隊戰鬥力的重要性。因此，他經常督促和幫助師團幹部學習文化知識。在黃公略、陳毅、蔡會文等人的督促影響下，大批工農出身的幹部逐步提高了文化知識水平。
黃公略從切身的經驗中體會到，紅軍建設的關鍵是思想建設，紅軍部隊之所以打勝仗，廣大指戰員的高度覺悟和犧牲精神起著至關重要的作用。因此，他十分重視部隊的思想政治建設。“二七會議”後，紅六軍政委劉士奇調地方工作，黃公略既當軍長又當政委。他嚴格要求部隊，認真執行黨的路線、方針和政策，積極做好宣傳、發動、組織和武裝群眾的工作。
為了使群眾了解紅六軍的宗旨、政策調動群眾參與革命鬥爭的積極性，他還用自己和政治委員陳毅的名義發布了一份六言體的紅六軍司令部布告。
黃公略對幹部的錯誤思想從不遷就放任但也不輕用長官態度，而是對其進行徐徐引導。在紅六軍時期，部隊在瀏陽等地連連告捷，繳獲了大批武器。當時一縱隊人少槍多，三縱隊人多槍少，軍部決定兩個單位互調人槍。開會時兩個縱隊的領導幹部都反對此舉。對此，黃公略沒有硬下命令，而是講清是非曲直，要兩個縱隊的領導幹部去考慮。會後他又采取個別談話的方式，分頭說服，終使兩個縱隊的領導幹部服從大局，同意了調換。黃公略抓住這件事對部隊進行了反對本位主義地方觀念的教育，引導指戰員們從中國革命的大局著眼，樹立推翻軍閥統治，爭取全國獨立解放的思想，加強了軍內團結。