曾國藩久宦京師，對人情世故、官場習氣深為了解。他以一個非官非紳的身份要練一支“別開生麵”的軍隊，勢必與舊的體製發生磨擦與矛盾。這種矛盾與磨擦大體來自三個方麵：一是他的非官非紳的身份與地方官的矛盾；二是“別開生麵”與官場舊習的矛盾；三是湘軍的建立發展壯大取代了正規軍，因而與國家舊體製的矛盾。第一種矛盾使曾國藩感到辦事不靈，第二種矛盾使他有了“越俎代皰”之嫌。
曾國藩到長沙之初，本想大幹一場，於是按照自己的設想，毫無顧忌地日夜練兵。塔齊布是一個武職，他奉曾國藩之命，訓練湘軍很有成效。但引起正規軍綠營軍官的不滿，長江協副將清德說：“本朝的製度是將官不受文官統轄，即使巡撫也不問營操”。提督鮑起豹聽到這番話後，把怒氣發到塔齊布身上，說盛夏練兵是虐待兵士，而且提督現駐省城（長沙），我不傳操，敢再妄為者軍棍從事。塔齊布這下也退縮了，不敢再出來主持湘軍操練。 這一時期的湖南巡撫是張亮基。張是江蘇銅山（今徐州）人，舉人出身，頗受雲貴總督林則徐賞識，因林密薦，不到二年間四次升遷。道光末署雲貴總督。
曾國藩最初出山辦團練，是以丁憂侍郎的身份來“入局”的。丁憂是為他母親守喪，按儒家的禮製，無論官做多大，必須盡孝道，為父母守喪三年（實際是二十七個月）。在此期間，朝廷要開去官缺，但仍享有原官品級的待遇，服喪期滿，再到中央重新任職。也就是說，曾國藩有的是二品侍郎的虛銜，他這個“官”是虛職。同時，他又有“在籍”的身份，因為他的母親病故於原籍，曾國藩在家鄉守喪，因而又有了鄉紳的身份。但他這個鄉紳的身份也是虛的，因為他一旦服喪期滿，又要離開湖南重返官場。而那些退休的官員才是真正的鄉紳。就此而言，曾國藩的“亦官亦紳”都是虛銜，這就是他經常談起“非官非紳，辦事不靈”的原因。
而好友劉蓉卻有另一層說法，他說：“我看這句話要倒過來說，應該是‘亦官亦紳，辦事必成’。侍郎公曾經有為官的身份，在朝廷上的影響絕不是一般人所能達到的。而侍郎公如此體貼民情，與我們這些書生能打成一片，也不是一般當官的人所能做到的。現在這支上萬人的隊伍，主要還得靠侍郎公。”
曾國藩聽了這話，並不表態。他作為湘軍統帥是很自然的事情，也不用推辭。倒是劉蓉說他“亦官亦紳”，好像讓他感悟到自己的身份也有其特定的優勢，他今後應該想方設法發揮這種優勢。
曾國藩何以有“非官非紳，辦事不靈”的感慨呢？原來，曾國藩在長沙初練湘軍的時候，由於他本來處於一種非官非紳的地位，可實際上卻幹著官和紳的事情，這樣就必然要侵犯到他人的權利。再加上澄清天下的抱負想馬上實現，對官場積習深惡痛絕，不知道遷就別人，因而矛盾很大。起初，張亮基調任湖南巡撫後，以巡撫大員身份，請曾國藩出山。當時曾國藩熱孝在身，省城長沙被圍，張亮基親筆寫信，請曾國藩為桑梓父老著想！信的末尾說：
亮基不才，承乏貴鄉，實不堪此重任。大人乃三湘英才，國之棟梁，皇上倚重，百姓信賴，亟望能移駕長沙，主辦團練，肅匪盜而靖地方，安黎民而慰宸慮。亮基也好朝夕聽命，共濟時艱。
曾國藩雖當時回絕了張的邀請，但後來出山的原因之一是認為張是可以合作之人。事實上，張亮基在湖南擔任巡撫的一年多時間裏，由於胡林翼等人從中斡旋，曾、張之間的關係大體上保持一致。但張一離開湖南，曾國藩就感覺在長沙與地方大僚不好處，因而不得不移師衡州。曾國藩顯然很懷戀這段同僚相處的時光。張調任山東巡撫的當年重陽節，曾國藩給張寫信，詳細道出自己“越俎代庖”的苦衷。曾國藩說：聽說仁兄已調往山東，從此毗鄰京城，坐鎮泰山，大展宏圖。隻是在目前兩湖整肅吏治的工作才剛剛開始，各項建設初有起色的時候，仁兄卻突然奉調離職，這不僅使剛剛開始的各項工作無法繼續，而且即使是一般的平民百姓，也為仁兄的調離而感到惋惜，他們悵若所失，頓失依靠。
曾國藩講的“頓失依靠”，實際道出了自己的苦衷，因為他與現任湖南巡撫駱秉章關係還沒有“磨合”好。信中接著說：
今年以來，我所經手辦理的各項事宜，大半有超越權限，越俎代庖之嫌。但我認為，在當今艱難的時局下，隻要是有利於國家，有利於天下百姓，即使受再大的委屈，我也要努力去做，以期為國家貢獻自己微薄之力，以伸張正氣，振奮民心。之所以訓練鄉勇，也並非有什麼其他的企圖和原因，僅隻是因為當今軍隊，無不騷擾百姓，去年就曾發生潮勇在湖南燒殺擄掠、奸淫婦女的事情。於是在民間就出現了種種流言，說官兵反倒不如賊匪安寧。我對此深感痛恨，擔心將失去民心而不可挽回，因此發誓要訓練一支紀律嚴明、秋毫無犯的軍隊，以挽回民心，根絕流言。每逢在三、八兩日集中訓練的時候，我總要對鄉勇訓話，苦口婆心，反複開導，隻求他們不要騷擾百姓。自四月以後，我有時也命令塔齊布將軍帶領旗兵，與鄉勇一同操練，塔將僅派他手下將領來聽我的訓話。我每次對這些人講演，往往有一小時甚至數小時之久，雖然不敢誇耀我的講演可使頑石點頭，但我的苦心，我的誠意，卻確如杜鵑泣血，隻希望他們被感化，並幡然悔悟。練隻是其名，訓卻要求其實；聽眾自然十分輕鬆，而我這個一講幾小時的講演者肯定十分辛苦。如今那些聽過我講演的旗兵仍在湖南，若您不相信我說的話，則可一一詢問，隻有他們稍有良心，就不會顛倒黑白，信口雌黃。我之所以這樣做，是想感化他們，希望他們不再騷擾百姓，以雪兵勇不如匪賊之恥辱，並使旗兵漫無紀律的現象稍有改變。到六月初，提督鮑起豹來到長沙，他說，軍隊的任務是防堵逆匪，因此不要經常訓練。在炎熱的夏季，軍隊也不宜過於辛勞。他根據這些理由嚴厲斥責塔齊布，袒護清將。而中丞您也對我起了疑心，認為我不應當插手幹涉旗兵的內部事務。恰在這個時候，我與您保舉塔將、彈劾清將的奏折，在同一時間發出，而且您又在這個時候寫信來，責備塔將軍為何不勤加操練。這樣，提督於是懷疑您和我暗地合力排斥他，都是挾持私心而非難公正，難道果真如此嗎？這真是天大的冤枉啊！自此之後，在處理旗兵與鄉勇之間矛盾的時候，我雖然盡量做到公正，但往往是壓抑鄉勇而抬舉旗兵。我捫心自問，可以說無半點私心，也可以讓天下所有人來評判。到初六這一天，發生了兵變，有的人說兵變是暗中有人指使，也有人說既然已經看到了兵變的苗頭，為什麼不早作防犯。君子之行坦蕩蕩，怎肯費盡心思、機關算盡去與人爭狠鬥勇？我本是一普通鄉紳，為理公事又沒有真正有權的職務，全憑名聲來鎮攝匪徒。如果名聲因此受到損害，那麼，奸滑小民將會更加肆無忌憚，這樣，我當初的設想與事情發展的結果恐怕難以一致。想到這些，我隻得抽身隱退，暫時到衡州駐紮。
很顯然，曾國藩出山之初很不利，一是他手中沒有實權，沒有管理地方的職責，但練兵籌餉，哪一項都要與地方官打交道。曾國藩此時性格外露，沒有顧忌，因而招人怨、招人忌。二是體製上的矛盾。如文官不統轄武弁，這是清朝的定製，曾國藩破壞了，因而就有人名正言順地反對他。再者，綠營兵是國家正規軍，湘軍當時稱為鄉勇，屬於臨時性質，是無法與綠營軍爭位置的。但曾國藩就是這種性格。直到鹹豐八年再度出山時才有大的轉變。
對官場積習的痛恨也是曾國藩出山初期屢遭坎坷的重要原因。本來，上下推諉，不做實事，一意敷衍，是官場通行的惡習，相沿已久，習以為常。但這種官習在和平時期尚不會誤大事，但處於戰時狀態，就越發顯出其弊病。曾國藩跟他的友朋多次談到這些。他在寫給彭申甫信中說：“竊嚐以為無兵不足深憂，無餉不足痛哭，獨舉目斯世，求一攘利不先，赴義恐後，忠憤耿耿者，不可亟得；或僅得之，而又屈居卑下，往往抑鬱不伸，以挫以去以死，而貪饕退縮者，果驤首而上騰，而富貴，而名譽，而老健不死。此其可為浩歎者也。”
真正能辦事的人沉淪下僚，而當道者都是老而健康、富貴已足又不辦實事的人，每想到這些，怎麼能不慨歎呢！
在寫給胡林翼的信中又說：“日與張亮基、江忠源、左宗棠三君子感慨深談，思欲負山馳河，拯吾鄉枯瘠於萬一。”但“三四十年來，一種風氣：凡凶頑醜類，概優容而待以不死。自謂寬厚載福，而不知萬事墮壞於冥昧之中。浸潰以釀今日之流寇，豈複可暗弱寬縱，又令鼠子鋒起？”曾國藩有點唐吉訶德的味道，他麵對的不是一個人、二個人，而是多少年形成的壞風氣。
鹹豐三年五月他在寫給郭嵩燾的信中說：下月回家祭母，“既已歸去，則不欲攘臂再出。所難忘者，與塔參將共練各兵勇，粗有頭緒。恐大弦一弛，無人與賡續而榜檠之。其他，則在此不見其多一鳧，去此不見其少一雁，自顧吾影，亦贅而已矣。”他把自己說成一個累贅，去之不少，來之不多，道出了他的苦悶與徘徨。他想扔下“幫辦團練大臣”回家，但又怕前功盡棄。六月二十五日又曰：“鮑提軍到省，即宣言仆不應操練兵士，且將以軍棍施之塔將，自以黑白顛倒，不複能忍默。苟捫心自問，誠為君父，不為意氣，即物論小有異同，亦難曲曲瞻顧。”
曾國藩為幾十年形成的腐敗官風所困擾，他為此困惑不解。平時如果大臣們優容養望倒也可以，現在國家已經危機四伏，為何還如此沒有良心！他說：世事敗壞至此，為臣子者獨當物色一二忠勇之人，宏濟艱難，豈可以使清濁混淆，是非顛倒，遂以忍默者為調停耶！ 多少年後，曾國藩對他的心腹幕僚趙烈文深有感慨地說，天下事有所激有所逼而成者居多，“起兵亦有激而成。初得旨為團練大臣，借居撫署，欲誅梗令數卒，全軍鼓噪入署，幾為所戕。因是發憤募勇萬人，浸以成軍。其時亦好勝而已，不意遂至今日。”
實際上，一個敢擔重責的人是不避斧鉞的。如果處處謹小慎微，那就如同縮頭烏龜，根本成不了大事。曾國藩出山之初，一以申韓之術倡，所推行的是敢作敢為，不避嫌怨。
二、群疑眾謗，移師衡州
本著精兵厚餉的原則，曾國藩在長沙訓練湘勇時，隻有二千人左右。訓練的辦法主要是戚繼光成法。每當曾國藩檢閱兵士時，塔齊布穿著短衣，帶著刀待立曾國藩一旁。曾國藩與他交談時，以之大奇，將他們轄兵卒試戰陣，皆精練。因此，曾國藩決定請塔齊布當湘軍教練。當時由各處調來省城的綠營兵，也有數千人。按照往例：一省的軍事最高長官是提督，訓練綠營兵本是提督的職責。
湖南提督鮑起豹無能，這幾千綠營兵乃一並歸塔齊布統一訓練。從鹹豐三年四月起，曾國藩令湘勇與綠營，共同操練，還經常舉行“會操”。
曾國藩對於訓練，要求頗為嚴格，風雨烈日，操練不休。這對於來自田間的鄉勇而言，並不以為太苦，但對於綠營兵而言，便無異是一種“酷刑”。在他們看來，曾國藩以團練大臣令他們與練勇會操，簡直是一種汙辱。因而，對曾國藩此令大為不滿，尤以長沙協副將德清最為反對。結果，令出之後，唯塔齊布獨領所部前往，其餘駐長沙各營，不僅拒絕會操，還指責塔齊布諂事曾國藩，群起而攻之。湖南司道官員見此情景心中暗喜，以為是對好事者應有的懲戒。在這種氣氛下，綠營兵就更加氣焰囂張，肆無忌憚。