��k�7x曾國藩的預言是正確的。江忠源沒有進士及第，於1845年南歸。回到家鄉，他便做了一件對後世影響極大的事情：聯絡鄉紳，舉辦團練。
他對鄉人們說：“國家已經有了二百多年的和平。新寧處在湖南和廣西交界之處，又是大山之間，容易滋生不法之徒。官府畏首畏尾，不敢過問。山區漢族和瑤族雜處，又與廣西五排相連，一旦發生動亂，是很危險的！”
於是，他召集諸位父老，興辦團練。他與大家約定一條：不得加入會黨。每到月初，他便召集各村的丁壯，灌輸忠孝禮義，教授兵法技勇，暗中采用兵法，管理團丁。幾個月後，他的家鄉秩序井然。
江忠源組建的武裝力量，不是臨時湊拚的烏合之眾。他在團練中建立了比較嚴密的組織，規定了一套列陣和搏殺的訓練方法。江忠源熟讀兵書，現在得以把書本上的知識用於實踐。他的這套方法，人們籠統地稱為“練勇”。這種方法一直影響到民國，甚至在當代的民兵預備役製度裏，也能看到那段曆史的影子。
當時，廣西的會黨對湖南的寶慶府所轄地區，產生了很大的影響。江忠源公開禁止會黨活動，搜捕本地會黨治罪。遇到爭訟是非，他就召集父老鄉親，剖斷案情，使大家心服。通過他的努力，鄉土上偷盜絕跡，也沒有人到官府打官司了。這樣一來，鄰鄉都願聽從他的指揮，會黨銷聲匿跡，人們紛紛脫離會黨。而那些對會黨敬而遠之的人，覺得江忠源替他們解除了威脅，也就安下心來。
江忠源發現自己的努力有了成果，發出一句感歎：“由於官府不會管理，所以民心早已散失，從一鄉的情況，就能看出天下大勢。”
江忠源建立的武裝力量，在三年後檢驗了戰鬥力。
1847年10月，新寧黃背峒的瑤族人雷再浩與同鄉李輝等人創設棒棒會，擁有兩萬多兵力，議定於當月26日在新寧和廣西全州集結武裝，同時舉行反清起義。
江忠源察覺到將有變故發生，撰寫文章，詳細闡述嘉慶初年官府鎮壓四川和湖南教民起義的始末，勸諭新寧子弟，不要加入起義軍，免得招來殺身之禍。在這種宣傳攻勢下，越來越多的鄉民離開起義隊伍。
江忠源又勸告新寧知縣李博，請他準許棒棒會的會眾自首，並懸賞重金，購買起義領導人的首級。
但是，起義仍然按計劃進行。李輝首先進入新寧城，準備內應。但因走漏風聲，新寧知縣李博張榜通緝，派兵捉拿。
雷再浩迫於壓力，率領部眾在黃背峒和滑溪一帶提前起義。
10月20日，在李博指揮下，江忠源和鹽法道楊炳堃率領兩千名鄉勇，分路圍攻黃背峒，迫使雷再浩的會軍轉移到廣西全州的莊塘，與全州棒棒會首領李世德所部會合，恢複了元氣。
江忠源率領部隊據守要隘，切斷起義軍的供應，並向當局建議，湖南和廣西進行聯合作戰。此後，清軍對起義軍的作戰，基本上按照他的提議進行。
江忠源率領團勇，屢次擊退起義軍的進攻。雷再浩對他恨之入骨，揚言抓到江忠源，要把他生吞活剝。
江忠源的母親聽到消息，召喚他回家避禍。江忠源笑著對來人說：“毛賊怎能害到我！”不過，他不願讓母親擔心，便回到新寧縣城，協助官員守備。
雷再浩認為在廣西很難站住腳，率部進攻侯家寨，打算攻取新寧，遭到江忠源所部頑強阻擊，未能成功。
一天夜裏，縣城接到報告，說起義軍已經殺到。城內居民驚擾，江忠源睡在縣衙裏，安穩不動。不一會，他部下的團丁抓到起義軍的兩名間諜，綁來見他。知縣要把間諜關進監獄。江忠源說：“不可！現在人心浮動，驚惶失措。隻有立刻將他們處死，才能警示亂民。否則會另生變故。”
李知縣聽從了江忠源的意見，城內人心才安定下來。