曾國藩一般不輕易彈劾人。他清楚，一入彈章的人，以後很難被重用。但一則他對清德在長沙危急時的逃匿行為早已不滿，二則不去掉清德就不能正常操練，甚至影響“別開生麵”目標的實現。因此，他與張亮基商量，在取得張的支持後，上疏彈劾清德。鹹豐三年六月十二日，他向清廷奏參清德，他說：自對太平軍作戰以來，官兵望風先潰，最可痛恨。而種種惡習的原因，是平日毫無訓練，技藝生疏，心虛膽怯所致。為了改變這種狀況，我告飭各營認真操練，而清德不但從不到場，而且在署偷閑，養花種樹，還向各地百姓勒索。對於營務的事，一概不知。現當湖南防守吃緊之時，如果聽任下去，何以督率士卒！請將其革職！ 也許曾國藩覺得將清德革職還不夠以警示他人，因此，同一天又上折片，請將清德交刑部治罪。而清德去年在長沙時的表現即是罪狀，曾國藩說：
長沙協副將清德性耽安逸，不理營務。去年九月十八日賊匪開挖（長沙）地道，轟陷南城，人心驚惶之時，該將自行摘去頂戴，藏匿民房；所帶兵丁，脫去號褂，拋棄滿街，至今傳為笑柄。
在折片的未尾曾國藩說：
臣痛恨文臣取巧，武臣退縮，致釀今日之大變，是以為此激切之情。若臣稍懷私見，求皇上嚴密查出，治臣欺罔之罪。
為了鼓勵塔齊布，同一天，曾國藩上奏折密保塔齊布、諸殿元兩人。
六月二十九日，鹹豐帝發上諭，命將清德革職拿問，塔齊布賞給副將銜，諸殿元以守備補用。綠營兵因此大恨曾國藩、塔齊布。
如前所述，當時長沙城內，同時駐紮著兩種部隊：綠營兵與湘勇，綠營因戰鬥力差，頗受勇丁輕視，而勇丁的月餉，高出綠營兵二三倍之多，綠營兵也嫉憤交集。因此兵與勇時生摩擦。鮑起豹等人又從中挑撥，雙方愈來愈情同水火，甚至常生械鬥。
鮑起豹的提標兵（又稱永順兵）與塔齊布統帶的辰勇因賭博發生鬥毆，提標兵鳴號列隊，準備討伐辰勇。曾國藩欲殺一儆百，稍抑綠營兵這種怯於戰陣而勇於私鬥的風氣，遂移谘提督，指名索捕肇事士卒。鮑起豹非常氣憤，故意大肆張揚，公然將肇事者捆送曾國藩公館。提標兵為此群情洶洶，散滿街市，先去圍攻塔齊布，毀其居室，塔齊布匿於草中幸免喪命。接著，又於當晚衝進曾國藩的團練大臣公館，槍傷隨身親兵，幾乎將他擊中。曾國藩狼狽萬狀，隻得向駱秉章求援。曾國藩的公館就設在湖南巡撫衙門的射圃內，中間僅一牆相隔，事情鬧到這般地步，近在咫尺的駱秉章竟裝聾作啞，坐觀事態的發展，直待曾國藩前去叩門，方故作驚訝，出而解圍。但駱秉章不但不治罪兵卒，反而給肇事者親自鬆綁。向其賠禮道歉，而對備受屈辱的曾國藩卻無一語相慰。事過之後，駱秉章對永順兵和鮑起豹亦無追究彈劾之詞，永順兵事件遂不了了之。更使曾國藩難堪的是，長沙城中浮言四起，湖南巡撫及司道官員皆認為曾國藩不應幹預兵事，永順兵事件實屬自取其辱。至此，曾國藩終於認識到自己無兵無權，不能同這些“文法吏”鬥下去。三十六計，走為上。鹹豐三年（1853）八月他離開長沙，移駐衡州練兵。事後他給駱秉章複信解釋說：“自六月以來，外人咎我不應幹預兵事，永順一事竟難窮究。省中文武員弁皆知，事涉兵者待不得過而問焉。此語揭破，侍雖欲竭盡心血，果何益乎？是以抽掣來此。”
營兵圍攻大臣公館的事，如果發生在軍紀嚴明的雍乾時代，為首者必被斬首示眾，為從者也要受到嚴厲懲處。但清廷已失去往日威嚴，連太平天國定都建號都無能為力，更何況此等小事！但如果曾國藩真的上奏清廷，肯定也要處理一些人。當時有人勸曾國藩據實參奏鮑起豹等人，而曾國藩剛於不久前參掉了副將清德，這時不便再動彈章，於是說：“做臣子的，不能為國家平亂，反以瑣屑小事，使君父煩心，實在慚愧得很。”即日將所部湘勇分別遣駐外縣，自己的團練大營也移駐於衡州（今衡陽）。
曾國藩移軍衡州，還有更重要的打算，他認為在衡州練兵，不像在長沙省城之地，耳目眾多，“動多觸礙”。走避山鄉，若捐款多，則多練弁勇；若捐款少，可以少募弁勇，張馳伸縮，“惟吾之所自為”，別人不能橫加幹涉。在長沙練兵也容易被綠營所吞並，或者兵未練成，就被朝廷征召，這些都與曾國藩別立一軍的目標相矛盾。因此，曾國藩采取走為上策，移師衡州。
位於南嶽衡山南麓的衡州城，是湖南僅次於長沙的名城。湖南自古有三湘之稱：瀟湘、蒸湘、沅湘合為三湘。衡州城正是蒸水與湘水的彙合處。為兩廣之門戶，扼水陸之要衝，物產富庶，民風強悍，曆來是兵家必爭之地。曾國藩對衡州還有一種特殊的感情，這是因為他一來祖籍衡州，二來歐陽夫人是衡州人，三則他少年時代曾在衡州求學多年。來到衡州，曾國藩如同回到湘鄉。有一種魚遊大海、虎歸深山之感。
衡州城小西門外蒸水濱，有一片寬闊的荒地，當地百姓稱之為演武坪。這是當年吳三桂在衡州稱帝時，為演兵而開辟的，後來便成為曆代駐軍的操練場，比長沙南門外練兵場要大得多。
曾國藩把他帶來的一千多號團丁，便安紮在演武坪旁邊的桑園街，團練大臣的大營設在桑園街上一棟趙姓祠堂裏。為便於日常商討，他要羅澤南、王、李續賓、李續宜、江忠濟及曾國葆等都住在祠堂裏。 移師衡州後的曾國藩，對劉蓉的話有了一番新的認識，他反過來看問題，把“非官非紳”變成“亦官亦紳”，變不利為有利，化不靈為靈便。
首先，第一個“有利”條件是，“非官非紳”的身份使曾國藩沒有封疆大吏肩負的守土之責，從而“逃避”許多罪責。在太平天國發展前期，聲勢浩大，勢如破竹，江南幾不為清廷所有。而丟棄城池是地方官的大罪，湖南巡撫駱秉璋等人都受到革職查辦的懲處，甚至有不少欽差大臣為此受到斬首的嚴懲。曾國藩出山之初，因無實權而歎息“辦事艱難”，但他也因為“在籍侍郎”這塊擋箭牌使自己免受清廷的懲處。等到太平天國勢衰，曾國藩手中又有實權，也就不再慨歎“非官非紳”的身份之苦了。
其次，曾國藩以“官”的身份，打通官場，以博得當地官員的好感及支持。為此，他跟比自己小二級的衡州知府以“兄”相稱。衡州知府陸傳應在曾國藩到來之前已有巡撫的劄文，照例開城相迎。知府官位僅是從四品，比曾國藩的二品大員低了二級，但曾國藩並不以高壓下，照樣以“兄”相稱，給陸知府的印象頗佳。有陸傳應這個“下級”關照，曾國藩覺得事情比在長沙時好辦多了。
三、籌辦水師，意在長江
曾國藩做事很講究“根底”二字。每次比較大的行動，他不但向皇帝馳報，而且還給僚屬親朋寫信說明情況。以取得理解和支持。他移師衡州後，首先給鹹豐帝上了奏折，解釋省城長沙守備妥善，移師衡州會有利於堵住太平軍等。他寫給江忠源的信中直抒胸臆，說：“我現在在外間盜得一點虛名，實際是作繭自縛，“不得放步大踏，一寫平生欲白之懷”。由於樹大招風，不如暫時隱蔽起來為好。曾國藩在衡州確實開創了新的天地，那就是籌建了水師，成為後來與太平天國在長江沿線一決雌雄的關鍵一步。
曆史往往有驚人的巧合。此前一百八十年，吳三桂自雲南起兵，經雲貴川後順江而下，將清朝八旗勁旅阻於長江北岸。隨即在衡州打造戰船一千餘艘，分發嶽州等地，一時水軍大盛，江南幾不為清有。清廷傾舉國之力，曆時八年才最後平定三藩之亂。這場戰爭之所以拖的如此之長，當時不能迅速平定，重要原因之一就是水師力量薄弱，失去對長江的控製。
一百八十年後，太平軍再次憑借強大的水師，幾乎致清廷於死命。不過，這次，他們遇到了有力的對手，那就是在衡州創立水師的曾國藩。
按照清朝的軍事編製，本來也有水師的設置。如綠營水師按其軍製，分為外海和內江兩部分，外海水師駐守在廣東、福建沿海地區，內江水師駐紮在長江沿岸各要岸、津口。至鹹豐初年，外海水師仍然存在，而內江水師則久已廢弛。從長江上遊至下遊，見不到水師的船與炮，偶而遇到少數炮船，也不過是在漁船上裝炮以應付了事，根本不能進行任何水戰。鹹豐二年（1852年）冬，太平軍在湖北益陽、嶽州得到了大量民船，船工水手也大多加入太平軍。但當時沒有水軍編製，不便統轄。楊秀清在嶽州得湖南祁陽商人唐正財後，知其通曉船務，非常器重，立即封他為水匠，職同將軍。這也是太平軍始建水營。其後。“千船健將，兩岸雄兵”，連下漢陽、漢口兩重鎮。楊秀清又命唐正財把船橫在江上作浮橋，然後用鐵索環繞，自漢陽直達湖北省城，儼如坦道，於是攻克武昌。次年春，太平軍沿江東進，有船萬艘，旋即攻克南京。定都天京後，太平天國大辦水軍，唐正財統領水軍一切事宜。此時的太平軍，以天京為都城，揚帆上駛，取武昌如探囊，又往來湖北、安徽、江西數省之間，運糧濟師，數日千裏。太平軍控製了長江水運權。
麵對此一形勢，清王朝要打敗太平天國，必須控製長江。長江決戰的關鍵，當然就是要以水師為主，強則勝，弱則敗。因此，早在鹹豐三年（1853年）五月，太平軍北渡淮河，南圍南昌之際，熟悉曆史掌故的禦史黃經就上奏朝廷，請令湖南、湖北、四川造船練兵，從水上攻擊太平軍。鹹豐皇帝接受此一建議，遂批令三省照奏執行。但湖南巡撫駱秉章接到聖旨後，頗感為難，便以力所不及為由將其擱置一邊。水師之議一時沒有了下文。此後不久，在湘軍中有軍師之稱的郭嵩燾卻舊事重提。鹹豐三年八月，江忠源部被太平軍圍在南昌，郭、江住章江門城樓，每獲太平軍卒就在城樓上詳細審問。當時城外僅文孝廟一處太平軍營壘，就達數十畝，但不知有多少兵力。一日，抓到一個太平軍卒，向其審問，兵卒答道：“不住一兵，官兵攻壘，調兵站牆而已。”“壘隻三麵，瀕江一麵無牆，人皆舟居。”兵卒還告訴郭嵩燾，太平軍水師船兵有“十餘萬”。郭嵩燾大為震驚，立即告知江忠源：太平軍若馳突長江，官兵無一船應之，非急治水師，不足以應敵，江忠源“大激賞，即囑嵩燾具疏稿上之。” 郭嵩燾是一個搖羽毛扇的角色，讓他帶兵打仗不行。但讓他出謀劃策卻能一下看到問題的關鍵。當時太平軍水師聲勢頗壯，控製了長江水麵，使清軍不勝其擾。曾國藩練的湘軍隻能陸上作戰，要對付太平軍的水師唯有望江興歎。郭嵩燾及時提出建立水師的問題，為曾國藩的湘軍營壘當了高參。
對郭嵩燾的建議，江忠源極為重視，本想馬上上奏朝廷，但恐自己上奏不被清廷重視，於是寫信給曾國藩，希望他“登高而呼”，以成此事。信中說：“方今賊據有長江之險，非我造船筏，廣製炮位，訓練水勇，先務肅清江麵，竊恐江南、江西、安徽、湖南，湖北各省無安枕之日。然竊計海內人才能辦此者，惟吾師一人……若再曠日持久，天下大局非臣子所忍言矣。”