曾國藩聽了這話，並沒有表態。他作為湘軍統帥是很自然的事情，也不用推辭。倒是劉蓉說他“亦官亦紳”，真正切中了問題的要害，他的雙重身份，讓他感覺到了自己的優勢。
曾國藩何以有“非官非紳，辦事不靈”的感慨呢？原來，曾國藩在長沙初練湘軍的時候，由於他本來處於一種非官非紳的地位，可實際上卻幹著官和紳的事情，這樣就必然要侵犯到他人的權利。再加上他想馬上實現澄清天下的抱負，對官場積習深惡痛絕，不知道遷就別人，因而跟人矛盾很大。起初，張亮基調任湖南巡撫後，以巡撫大員身份，請曾國藩出山。曾國藩當時雖回絕了張的邀請，但後來出山的原因之一是認為張是可以合作之人。事實上，張亮基在湖南擔任巡撫的一年多時間裏，由於胡林翼等人從中斡旋，曾、張之間的關係大體上保持一致。但張一離開湖南，曾國藩就感覺在長沙與地方大僚不好處，因而不得不移師衡州。曾國藩顯然很懷戀這段同僚相處的時光。張調任山東巡撫的當年重陽節，曾國藩給張寫信，詳細道出自己“越俎代庖”的苦衷。曾國藩說：“聽說仁兄已調往山東，從此毗鄰京城，坐鎮泰山，大展宏圖。隻是在目前兩湖整肅吏治的工作才剛剛開始，各項建設初有起色的時候，仁兄卻突然奉調離職，這不僅使剛剛開始的各項工作無法繼續，而且即使是一般的平民百姓，也為仁兄的調離而感到惋惜，他們悵若所失，頓失依靠。”
曾國藩講的“頓失依靠”，實際是道出了自己的苦衷，因為他與現任湖南巡撫駱秉章關係還沒有“磨合”好。
這個時期，曾國藩的雙重身份，並沒有給他帶來什麼優勢，反而給他添了不少麻煩。本來地方團練大臣們的地位就很尷尬，他們既不是地方大吏，又不是欽差大臣，隻是輔佐地方組織地主武裝，協同維護地方秩序。這個舉措是清政府的應急手段。而曾國藩卻一味蠻幹，以欽差大臣自居，支持他的張亮基一走，新任巡撫和地方官便認為他多餘了。地方大員對曾國藩不支持，文武官員也就更不配合，不久便發生了爭端，幾乎鬧出了大事。
事情由曾國藩越權幹預綠營兵引起。
清朝常例，綠營兵由總督統轄，由各省提督統帶，負責訓練等事務。團練大臣隻能管轄團勇，對地方綠營軍營務更無權過問，可曾國藩卻通過塔齊布對湖南綠營軍加以幹涉。
塔齊布是滿洲鑲黃旗人，姓陶佳氏。初由火器營護軍提升為二等侍衛，於鹹豐元年（1851年）派往湖南任都司，在助守長沙之戰時升為遊擊。曾國藩為湖南團練大臣，見塔齊布生性忠勇，剽悍驍健，無旗人和綠營軍官中的腐敗習氣，很是看重他，於是聘他為教師，訓練團勇。塔齊布對曾國藩唯命是從，認真做事，很得器重，二人交往愈加密切。
曾國藩訓練團勇很嚴格，有軍事訓練、政治教育，同時還要與綠營軍一道會操，雖長沙盛夏酷暑之時，也不許停止。曾國藩不許練勇停止會操，綠營兵也就得陪練勇訓練，綠營若不參加，何談會操。於是，便引起湖南綠營驕將情兵的反對。長沙協副將清德早對曾國藩幹預綠營不滿，於是便利用部隊的懶惰情緒，拒絕聽從曾國藩的命令，不再參加與團練的會操，也不再聽曾國藩的訓話。
一次會操時，曾國藩發出了會操的命令，隻有塔齊布率領所部前往，其餘駐長沙的綠營兵拒絕參加，還群起指責塔齊布諂事曾國藩。曾國藩大為惱火，以清德惰於操練、臨陣退卻參劾之。清德不服，赴湖南提督鮑起豹處申訴，反控曾國藩以炎熱氣候強令軍隊操練，虐待士兵，塔齊布令綠營與練勇會操是破壞營製。
鮑起豹跟清德是一個圈子的，自然會護著清德，懲處塔齊布了。綠營兵在鮑起豹的縱容下，更加囂張，乃尋釁挑起糾紛，鳴號列隊攻擊塔齊布的軍隊。曾國藩出來幹預，鮑起豹挑動軍隊包圍塔齊布的營房，搗毀了營房、居室。並攻入曾國藩的團練大臣公館，槍傷了他的隨員和護兵，幾乎擊中了曾國藩。