就這樣，湘軍的祖師爺之一王錱被曾國藩逐了出去，曾國藩通過驅逐王錱，再次穩固了他的領導地位。
曾國藩見死不救：江忠源之死
和王錱是明爭，和江忠源則是暗鬥。江忠源是自太平軍造反以來，戰場上最清醒最幹練的將軍，受到清政府一個接一個的大獎，所以曾國藩當初才打起為江忠源練兵的旗號跑到衡州。
也許不僅是為了迷惑清政府和江忠源，曾國藩當時真就發自良知。他信誓旦旦地向江忠源保證，我去衡州練兵就是為了給你作為“掃蕩天下之具”的。江忠源至為感動，對曾國藩表露心跡：我江忠源能光耀門庭，就全靠兄弟你了。
很快，江忠源就在現實中發現曾國藩靠不住。1853年秋，江忠源在江西九江一帶抵抗太平軍，他的楚勇兵力不足，所以去信曾國藩問，有沒有新出爐的士兵，趕緊搞點來給我用。
曾國藩連鹹豐的聖旨都敢不遵，區區個江忠源算個啥。他回信給江忠源，士兵還是半成品，不能立即出爐，你少安勿躁。江忠源並未生氣，因為他知道曾國藩做事很慢，所以就調了雲貴、湖廣的綠營兵六千，與自己的楚勇合成一萬，艱難抵抗太平軍。
曾國藩得知江忠源調集綠營兵後，去信揶揄道：“綠營兵紀律敗壞，怎麼能打仗，您要三思啊。”
江忠源夾槍帶棒地回信道：“我倒是想用你的兵，可你太慢了。”
曾國藩發現了江忠源的不滿，慌忙回信道：“你不要著急，我已訓練出三千士兵，再訓練六千，就雙手呈送閣下做建功立業的工具。”
江忠源突然發現曾國藩在和他玩太極，由於前線吃緊，所以沒空和曾國藩糾結。但曾國藩卻對他窮追猛打起來，曾國藩對湖南巡撫駱秉章與新任湖廣總督吳文鎔說，江忠源的楚勇成事不足敗事有餘，我聽說他們常常騷擾百姓，進駐一地後的頭等事就是搶劫。政府正規軍不可用，楚勇也欠精練。
吳文鎔是曾國藩舉薦上來的，同時還是曾國藩的師長，所以自然不自然地就偏袒曾國藩。駱秉章對曾國藩雖成見漸小，卻站在公理之上，對曾國藩冷嘲熱諷：“正規軍不成，楚勇欠精練，我聽你的意思隻有你的湘軍才是天下唯一的精兵。但我怎麼就沒看你們湘軍有一人在戰場上？”
曾國藩險些被問了個跟頭，回信駱秉章：“羽毛不豐不能飛。”
駱秉章隻回了一行字：“你不飛，就閉嘴。”
江忠源對曾國藩的風涼話極為在意。他認真給曾國藩回了封信，一針見血地解釋道：“‘勇’是否可用，關鍵在帶勇之人，和‘勇’本身無關。好人帶壞‘勇’，也能把“勇”帶好；壞人帶好‘勇’，也能把勇帶壞。你總說你的湘軍這樣好那樣好，到現在我也未親眼見到，先假設你的湘軍是好的吧。可你是否想過，現在是好的，將來解散後還一定能好嗎？”
曾國藩根本沒考慮那麼遠，他在全心全意處理眼前的問題、腳下的問題。江忠源的一番話讓他更加堅定了這樣的信念：他不會把一兵一卒交給任何人，包括江忠源。1853年冬天，曾國藩寫信給駱秉章說：“我正在夜以繼日地籌備水軍，等船炮齊備後，我願意帶著我的湘軍跟隨您左右。”
駱秉章驚叫：“曾國藩這是要自己指揮湘軍啊。”
半個月後，太平軍攻陷黃州，鹹豐催曾國藩出師，曾國藩死都不肯，江忠源催他趕緊來，他一字不回，但卻給吳文鎔去信噓寒問暖：“這次賊有多少人？需要援助嗎？我帶領湘軍去如何？您好好斟酌，速回我信。”
江忠源得知此事後，氣得一跳三丈高：“曾國藩這畜牲，這是想拋棄我依附吳文鎔啊。”
曾國藩得知江忠源的反應後，馬上去信安撫：“兄弟最近如何，我正準備東下，配合吳文鎔總督的‘四省合防’計劃，另外也為閣下澄清天下之用，我已做好三年不歸之想。”