寫到這裏，曾國藩想起自擔任團練大臣後在長沙受的屈辱，又想到來衡州後的白手起家，不但步履維艱，還得到無數的譏諷嘲罵，他不禁眼眶濕潤，繼續寫道：“湖南官員不理解我，給我難堪，皇上您也不理解我，非讓我出兵自取其辱，一旦我兵敗，必會被人唾罵至死。身死卻不能報效國家，一想到這裏，我在大半夜都能哭醒。希望皇上能理解我的進退兩難境地，不要逼我出軍，要不了多久，我羽毛一豐，定會建下破天荒之大功，以報聖恩。”
鹹豐被這封信感動了，不再催他出軍，同時還安慰他：“成敗利鈍固不可逆睹，但你心可昭日月，並非隻有我知。”
曾國藩收到鹹豐的信後，當著湘軍將領們的麵，嚎啕大哭，拿著信給眾人觀看，哽咽著說：“皇上真是憐憫我等啊，皇上萬歲！”
皇上在遙遠的北京憐憫他，解決不了他眼前的麻煩。麻煩來自王錱，王錱向他發出了挑戰。王錱是湘軍的元老級人物，開始和曾國藩合作時很融洽，王錱才能出眾，雄心勃勃。曾國藩當初在長沙時見人就誇王錱誌大才高，前途無量。
王錱雖然雄心勃勃，但胸有主張，他是理學家羅澤南的弟子，深深懂得規矩的道理。他本來和曾國藩的關係不錯，可自到衡州後，關係漸漸惡化。曾國藩來衡州是打著為江忠源練兵的旗號，但很快王錱就發現，曾國藩是在為自己練兵，他要建一支曾家軍。
鹹豐第一次催曾國藩增援湖北時，王錱就鼓動曾國藩出兵，曾國藩死都不出。太平軍很快攻占漢口、漢陽，長沙人心浮動。湖南巡撫駱秉章也寫信給曾國藩，要他來長沙協防。曾國藩理都不理，王錱拍案而起，帶著他的那一營五百人從衡州奔回長沙。一到長沙，王錱就大肆招募士兵，將他的一營擴充到三千人。
駱秉章對此大力支持，因為長沙兵力不足，又指望不上曾國藩。曾國藩卻很不高興，因為王錱招募士兵的事並未向他彙報。但他隱忍不發，不久後，在新任湖廣總督吳文鎔的左右周旋下，太平軍退屯黃州，長沙局勢緩和下來。曾國藩馬上去信責備王錱，“你名義上算是從前大團的人，在衡州咱們也建立了上下級關係。你在長沙招募士兵，卻不向我報告，是何道理？我現在鄭重告誡你，我在湘軍裏給你留了三個營的空額，你迅速帶你的人回來。”
王錱氣得怪叫：“三個營就才一千五百人，你這是要我裁撤一半兵力啊。我回去你個鬼啊。”
曾國藩見王錱毫無動靜，又去信說，“你的士兵必須減員，選出三個營長來，不必你指揮，指揮權由組織決定。另外，你速來衡州參加會操，開出一份名單，把不肯來的人寫上，以後我不會要他們了。”
王錱繼續生氣，且拒絕回信曾國藩。曾國藩矢誌不移，意誌頑強地給王錱寫信。1854年2月，徹底搞定鹹豐的催促後，曾國藩決定和王錱攤牌：“咱們奉朝廷之命，興君子之師，章程必須劃一，怎可參差錯亂，各立山頭。你如果要立山頭，別打著湘軍的旗號。”這封信仍未得到回音，曾國藩怒了，派出四名將領去接替王錱的四個營軍官職務，同時命令王錱隻統帥一營。
王錱這回不生氣了，反而對曾國藩的一廂情願大笑不已。曾國藩看著狼狽而回的被派去的四名軍官，惱羞成怒地給駱秉章寫信，夾槍帶棒地說：“王錱這廝反了，背後肯定有人撐腰。我把話放這裏，您如果同意他歸我督帶，就必須受我節製。倘若他不想受我節製，您又命令不了他，那我在此宣布，湘軍從前不曾，現在不曾，將來也不會有王錱這個人！”