麵對敵人的大舉“會剿”，黃公略率領紅五軍6個大隊共200支槍，獨立堅持在湘鄂贛進行遊擊戰爭。黃公略吸取了以前幾次打硬仗受挫的教訓，采取化整為零的辦法，將各中隊分散到瀏陽、平江等地的農村，在群眾掩護下隱蔽進行活動。1929年春，由於蔣桂矛盾激化，敵人一部被調走，形勢變化開始有利於我軍。黃公略迅速將3個縱隊化零為整，狠狠打擊地主豪紳和反動軍隊。先後發動了毛田、魯家灣、老烏土段和金坑等地農民暴動，消滅了反動民團和當地的國民黨駐軍，擴大了遊擊區。11月，黃公略指揮部隊奔襲萬載縣城，一舉攻入城內，消滅了反動的靖衛團，鎮壓了反動縣長，繳獲了很多槍支彈藥。2月中旬，黃公略率領第二大隊會同區赤衛隊共1000餘人，乘黑夜突襲瀏陽永和市，擊斃敵軍百餘人，繳獲槍支百餘。
1929年4月12日，中共湘鄂贛邊特委召開擴大會議，貫徹中共“六大”精神，決定以大溈山脈為中心根據地，向平、瀏、修、銅、萬各縣發展。會議同時做出決定，為統一指揮武裝鬥爭，成立中國紅軍湘鄂贛邊支隊司令部，下轄3個縱隊，黃公略任支隊長，張啟龍任黨代表。此後，黃公略統一指揮紅軍湘鄂贛支隊和各縣赤衛隊，在湘鄂贛邊界地區積極開展遊擊戰爭。孔荷寵任縱隊長、胡筠任黨代表的第一縱隊，以平江西北為中心向湘陰、通城邊境發展；黃公略率第二縱隊，以大溈山為中心向宜春、宜豐及瀏、銅、萬邊境遊擊；由吳溉之任縱隊長兼黨代表的第三縱隊，以修、銅、平邊界為中心向修水、武寧、通山遊擊。
黃公略統一指揮的三個縱隊和各縣赤衛隊，采取積極防禦的戰略方針，當敵軍大舉進攻時，紅軍大隊采取避敵鋒芒，繞擊敵後辦法襲擊敵指揮中心；當敵軍駐紮不動時，紅軍大隊和遊擊隊就在黑夜時摸進敵人駐地向空中打槍、呐喊，使敵人疲於應付；當發現敵人小股單獨行動時，就集中紅軍主力予以殲滅。冬季到來，部隊在積雪的山路行軍時，為迷惑敵人，黃公略叫戰士們倒穿著鞋子，留下相反的腳印，使追擊的敵人判錯紅軍的去向，在黃公略的指揮下，紅軍屢次挫敗了“進剿”的敵軍。
黃公略還十分注意同人民群眾保持密切聯係，他教育部隊要愛護人民群眾，他無論走到哪裏都領導部隊積極開展宣傳群眾、組織群眾和武裝群眾的工作，幫助建立地方革命政權。在他的支持和幫助下，各縣赤衛隊得到很大發展，擁有槍支數多的達到400餘支，而且多數區都建立了赤衛大隊，鄉建立了赤衛中隊。各區、鄉赤衛隊人數不等，有的十幾人，多的有百餘人，這些赤衛隊都有較強的戰鬥力，常以幾支槍與敵幾十槍作戰，並獲得勝利。
為把部隊改造成真正的革命軍隊，黃公略在紅軍中廢除了薪餉製，改為獎金製，以鼓勵戰士們勇敢殺敵。為了減輕根據地人民的經濟負擔，他規定部隊給養主要靠打土豪劣紳的辦法解決。由於戰鬥頻繁，紅軍四處打遊擊，生活十分艱苦。然而即使遇到的困難再多，黃公略都能用自己的模範行為去團結和帶領部隊，他同幹部戰士同甘苦共患難，和大家吃在一起，睡在一起，有時沒飯吃，就用發了黴的紅薯幹或野菜草根充饑。在寒冷的冬天，他同紅軍戰士一樣穿著單衣單褲，以堅韌不拔的毅力向同嚴寒作鬥爭。他的褲子破了，就把褲腿撕下來補到上邊。他對自己要求十分嚴格，但對部隊和下屬卻是非常關心和愛護。每次執行任務的小分隊回來晚了，他都會站在山頭焦急地等待。一旦戰士們回來了，他便感到欣慰，問長問短，他同紅軍戰士親如兄弟，情同手足。
湘鄂贛邊特委擴大會議後不久，邊區形勢又發生了急劇變化。1929年6月、7月間，湘、鄂、贛三省反動派又調集了近5個團的兵力，聯合平、瀏、修、銅、萬、萍、醴7縣的反動地方武裝(稱為“七縣聯防”)向邊區再次發動瘋狂進攻。麵對兵力數倍於己的敵軍，黃公略采取晝伏夜出、彼合我散、彼散我合和避實就虛、聲東擊西等戰術，積極打擊敵人，在瀏陽的官渡，萬載的高村、大橋、黃茅等地襲擊敵軍，繳獲了步槍80多枝，子彈數擔，沉重地打擊了敵人的囂張氣焰。在這期間，黃公略還曾總結如何避實就虛等遊擊戰的經驗，寫成了一本《遊擊戰術》的小冊子，彭紹輝、何長工等都看到過，可惜已找不到了。
正當邊區形勢危急之時，彭德懷率領四、五縱隊從井岡山殺回了邊區。他們於1929年8月8日從永新出發，經蓮花、萍鄉，13日到達萬載，開始同敵人作戰。8月14日，一舉攻克萬載縣城，取得了返回邊區的第一個勝利，使邊區開始擺脫困境。接著，又向萬載、銅鼓邊境活動，8月底在平江黃金洞、桐木橋地區，與黃公略率領的湘鄂贛邊境支隊會師。戰友重逢，分外高興，黃公略向彭德懷和五軍黨委彙報了四、五縱隊離開後邊區一年來的鬥爭情況，對四、五縱隊重返邊區表示由衷的歡迎。