駱秉章將他送出大門，心裏十分痛快。打了幾個月交道，他對曾國藩辦事認真還是十分欣賞的，所以會銜參劾清德，幫他組建省城大團。但曾國藩並不知足，頻頻插手政務軍務，以致綠營湘勇勢同水火，卻不能不心生反感。如今他知難而退，率所有練勇離開長沙，鮑起豹的綠營官兵沒有了惹事對頭，自己落得六根清淨，豈不皆大歡喜？
鹹豐三年八月十三日，曾國藩撰寫奏章，說去年太平軍圍攻長沙，湖南各地會黨亂民蜂起呼應勢如燎原。如今太平軍遠竄江寧後，瀏陽征義堂會匪被楚勇剿平，方圓土匪被湘勇次第肅清，省城安堵。然而衡州、永州、郴州、桂陽各地，均為大股土匪聚集淵藪，數月以來，奸民聚眾為亂，大案迭出，州縣無力清肅。臣即日起移駐衡州，就近調遣團練征討。謄寫後，交巡撫衙門遞送。
駱秉章老於世故，置辦了幾桌酒席，為曾國藩餞行。前來作陪的，有湖南官場要員潘鐸、陶恩培等人，還請了提督鮑起豹。但鮑起豹聲稱軍務繁忙，沒空前來。酒宴上，那些官員滿口奉承曾大人嚴明剛正，會黨亂民無不聞風喪膽，三湘官紳百姓無不敬佩雲雲。曾國藩知道他們口是心非，板著臉喝了一杯酒，便拱手告辭。
鹹豐三年八月十四日，曾國藩帶著人員啟程。團丁們得知要到衡州去，再不在長沙受窩囊氣，一個個歡天喜地。
2.勤奮練兵
出發前，曾國藩仔細交代，朝廷官府撥給團練的糧餉十分有限，糧餉物資主要靠自己籌措，一點一滴都不能浪費。勇丁都是窮苦農夫，帶隊營官哨官也都是貧寒讀書人，養成了節儉習慣，命令一下，大家嚴格執行。凡是能用得著的東西，器械被鋪不必說，夥夫將鍋碗瓢盆悉數整理好，有的勇丁甚至連開鋪用的草墊子也捆綁好背在身上。這麼一來，簡直就是大搬家，每天行程不過三十裏。算起來，從長沙到衡州，得走十來天。
隊伍速度緩慢，曾國藩便借機繞道湘鄉，到荷葉塘拜見父親，和兄弟妻兒相見。晚上，他和國潢、國華、國荃幾個敘談，說出團練在長沙的種種難處，不得已將總團移駐衡州的苦衷。國華幾個聽了，紛紛要求跟大哥去，定要將這支隊伍練成戚家軍那樣的雄師。
曾國藩輕輕搖頭：“兄弟，你們想得太輕易了。孫子有雲：‘兵者，凶器也，聖人不得已而用之’。須知上了戰場，生死呼吸之間，一切難以預料。羅山先生門下練勇操練兩年，又在長沙經塔齊布指揮進行實戰訓練，想來應該能派上用場了。此次到江西安福剿匪，猝不及防，營官謝邦翰等八十一人陣亡。雖然後來獲勝，斬首土匪上千，為兄至今為之心寒，豈能讓你們涉險？依我看，太平軍竊據江寧，又進犯江西，非三五年不能剿除。你們好好在家讀書，閑暇學點兵法戰陣之類的知識，待大哥手下團練初具規模，再出來不遲。”
國華兄弟幾個知道大哥脾氣，他決定了的事情誰也不能改變，更何況也為謝邦翰等人戰死悲傷心疼，明白這是大哥對自己的深切關愛，隻得打消了這個念頭。過了兩天，曾國藩計算國葆一路練勇的行程，便與父親兄弟妻兒告別。
鹹豐三年八月二十四日，曾國藩抵達衡州。這時，曾國葆率領的練勇剛好趕到。曾國藩傳令，所有練勇在城外就地休息，待自己見過知府陸傳應後，再做安排。
衡州知府陸傳應是儒雅之士，和衡州蓮湖書院山長歐陽凝祉十分投緣。這個歐陽凝祉，是曾國藩的嶽父，曾國藩當了禮部侍郎後，幫嶽父謀了蓮湖書院山長的職，還在衡州城東給嶽父購買了一座住房。由於這緣故，陸傳應對曾國藩很敬仰。衡州離長沙不過兩百多裏，曾國藩在長沙辦團練肅清土匪的事情，他都很清楚。接到巡撫衙門的劄文不幾天，見曾國藩果然率領一千多號團丁來到衡州城，他立即令人燃放鞭炮，帶著同知等屬員熱情迎接。
“陸兄如此盛情，國藩與所率團練感激不盡！”曾國藩急忙下馬拱手稱謝。本來，知府隻是從四品，跟曾國藩的品級相差整整七級。他吸取在長沙和地方官員頂牛的教訓，放下架子跟陸傳應稱兄道弟。
“大人紆尊降貴，下官愧不敢當！”曾國藩的謙虛，讓陸傳應受寵若驚，恭請曾國藩和同行營官們到知府衙門去，“大人與各位營官遠道而來，下官略備薄酒為諸位接風洗塵，諸位請！”
曾國藩很感動，忙解釋說：“陸兄，國藩奉聖命任幫辦團練大臣，為的保境安民。此次來衡州，國藩與仁兄約法三章：不擾官，不擾民，不索要糧餉。國藩與團丁們雖有上下尊卑之分，卻情同父子兄弟。煩請仁兄先給團丁安排住宿與操練場，國藩改日再來拜會。”
“大人請放心！下官接到駱中丞的劄文，早已安排妥貼。”陸傳應見曾國藩把團丁視為父子兄弟，詫異中充滿敬佩，便親自帶路，把曾國藩與營官們領往小西門桑園街。曾國藩吩咐滿弟國葆帶領團丁原地待命，自己隨陸傳應過去看看。
陸傳應一邊走，一邊熱心介紹衡州的情況。曾國藩祖籍衡州，少年時代曾在衡州求學，加上歐陽夫人是衡州人，他對衡州有深厚的感情，對衡州的曆史沿革比陸傳應要熟悉得多。陸傳應如此熱情，他仿佛有回到湘鄉的感覺。
康熙初年三藩之亂，吳三桂率大軍從雲南殺進湖南，在衡州稱帝。吳家軍在衡州城小西門外的蒸水之濱，開辟了一片寬闊的荒地操練兵馬，當地百姓稱為演武坪。這裏便成了駐軍的操練場，比長沙南門外的練兵場要大很多。三藩之亂平定後，朝廷鑄劍為犁裁減兵員，衡州府些小官兵很少操練，如今大半荒蕪，遍地長著一人高的蒿草，周圍有百姓種了點蔬菜，增添了些許亮色。
陸傳應領著曾國藩一行來到操練場，謙恭地說：“下官不知兵事，卻也想到大人此來為的練兵，首先想到了這個操練場。大人覺得如何？如果不適合，下官再給另找地方。”