曾國藩、塔齊布狼狽逃走，才免於被殺傷。曾國藩的公館與巡撫衙門僅一牆之隔，駱秉章卻裝聾作啞。直到曾國藩倉皇跑來，他才不得不同意曾國藩的處理意見，讓肇事者賠禮道歉，並不追究鮑起豹和清德的任何責任，也不對曾國藩加一語安慰之詞。事後，長沙城裏的各級官吏皆言曾國藩幹預綠營兵事務，是自取其辱。曾國藩知道長沙再無自己的立足之地，於1853年9月自動離開長沙，移駐衡州。
曾國藩初辦團練，以落敗暫時告一段落。
很顯然，曾國藩出山之初很不順利，一是他手中沒有實權，沒有管理地方的職責，但練兵籌餉，哪一項都要與地方官打交道。曾國藩此時性格外露，沒有顧忌，因而招人怨、招人忌。二是體製上的矛盾，如文官不統轄武將，這是清朝的定製，曾國藩破壞了，因而就有人名正言順地反對他。再者，綠營兵是國家正規軍，湘軍當時稱為鄉勇，屬於臨時性質，是無法與綠營軍爭位置的。曾國藩的性格決定了他督辦團練必然會走到這一步。曾國藩的這種性格對他的發展是極為不利的，直到鹹豐八年再度出山時才有大的轉變。
衡州“審案局”
初辦團練遭遇到的挫折讓曾國藩清醒了很多，他心裏有了初步的打算。他明白，居人之室、借人之軍，難以立足，必須發憤練成自己的一支軍隊，才有成功的本錢。這是他離開長沙，到衡州獨辟山林的初衷。
當年的衡州城，即今天的衡陽市，是湖南衡州府的知府衙門所在地。地處湘水和蒸水的彙合處，是湖南省的名城，僅次於長沙。因為是知府重地，府稱“衡州”，所以俗稱衡州，而不叫衡陽。此城北臨南嶽衡山，控水陸要衝，曆來是兵家必爭之地。
衡州曾是曾國藩的祖籍，曾妻歐陽氏是衡州人，衡州親友多，是他的第二個故鄉，這是他來衡州的重要原因。
因為有長沙的教訓，曾國藩這次學聰明了。他來到衡州之初，就盤算著怎麼跟地方政府搞好關係。衡州知府陸傳應在曾國藩到來之前已有巡撫的劄文，照例開城相迎。知府官位僅是從四品，比曾國藩整整低了五級，但曾國藩並不以高壓下，照樣以“兄”相稱，給陸知府的印象
頗佳。
經由陸傳應的首肯，團練大臣的“署衙”暫設於小西門演武場。這個演武場實際上是一處大祠堂，位於衡州西門外的蒸水濱，是當年吳三桂在衡州稱帝時開辟的，場麵很大，有現成的閱兵台和“行署”。曾國藩把由長沙帶來的一千多名團丁安駐於此，羅澤南、王錱、李續賓、李續宜、江忠濟（江忠源之弟）、曾國葆等人算是他的手下大將了。
初來衡州，又怕被人排擠而出，曾國藩的挫敗之心很重，也知處境尷尬，又怕給知府帶來壓力。所以，處處小心謹慎。
讓曾國藩撓頭的頭等大事，就是自己的名份問題。自己該屬於哪個衙門口呢？朝廷並未立定規矩。隻說辦團練，但團練大臣數十個，各自的品級並不一致，各地也無“團練大臣”的衙門。幾經商量，先起名為：“欽命團練大臣曾統轄湖南湘軍總營務局”。牌子寫好之後，曾國藩感到不妥：皇帝詔書寫的是“幫辦團練大臣”，幫而辦之，湖南主要辦團練的角色還得是駱秉章；統轄湖南湘軍就更不妥了，皇帝沒給他這麼個銜，也無統轄軍隊的權力。商量來商量去，還是照舊用長沙時用過的“湖南審案局”五個字。
招牌不變，曾國藩的主意與在長沙時可大不一樣了。他不再蠻幹，不再僅做維持地方治安的幫手。他要下決心練成一支勁旅，自做統帥，做李泌、郭子儀那樣的事業。
團丁安置好之後，他想的是先有一批可靠的軍官。於是提筆在手，給郭嵩燾、劉蓉、李元度、陳士傑等人各寫了一封信，讓他們前來共謀大計。這時郭嵩燾在湘陰募集練勇資金；劉蓉在曾國藩眼裏是諸葛亮般的“臥龍”人物，在長沙時他一度隨行，後因故返回湘鄉；李元度是曾國藩的同窗，平江舉人；陳士傑是自己的弟子，以拔貢上京朝考時，曾國藩是他的閱卷考官，現在桂陽州原籍守製。
曾國藩的書信發出後，立即作出反應回信的是江忠源。江忠源當時正帶兵在江西與太平軍作戰，時任湖北按察使。江忠源的信並沒有寄到衡州，而是寄到了長沙。江忠源在信中要曾國藩抓緊編練軍隊，練成一支勁旅開赴江西與太平軍作戰。綠營軍在能征善戰的太平軍麵前的確是不行了，一觸即潰。
江忠源的來信解決了曾國藩久未想通的問題：皇帝給各地團練大臣的任務是“幫辦”練團勇，並不是要他們編練到前方作戰的正規部隊，若是練成一支正規部隊，實屬越格。實際上，當時各省的團練都不過是數百人的地主武裝，湖南的一千餘人已是最多的了。這千餘人，在巡撫、提督眼裏，也如丁如沙。他們的餉項、器械全靠自己解決，已屬絕路，若真的編練大部隊，更難以想象了。江忠源寫信要他招募數千人馬，奔赴前線，這正好讓他作出新文章：即讓江忠源代奏皇帝，批準他在衡州招募勇丁，編練成軍，交他指揮。實際上，未待朝廷批準，曾國藩已經開始在衡州招募軍隊。