按照定例軍營職位有空缺，先從在軍人員撥補。我所帶的湘軍，多是招募來的湘勇，不僅參將、遊擊、都司、守備以上無缺可補，即如把總外委也不能遞補實缺。武弁跟我出生入死數年，有的雖然保舉至二品、三品職銜，而充當哨長者，仍領哨長薪餉，充當隊目者，仍領隊目薪餉。一日告假，即時開除，終不得國家正規軍照綠營廉俸之例長遠支領。弁勇互生猜疑，徒有保舉之名，永不履任之實，長此以往，湘軍弁勇，難以“長生觖望”。
言外之意：我曆年在外，不敢奏調滿漢各營。各營官兵，實缺之將領太少，太少不足以相維，權位不足以相轄……雖居兵部堂官之位，事權反不如提鎮。“此辦事艱難之一端也。”
國家定製，各省文武升遷罷免之權，責成督撫。督撫的喜怒，關係到州縣官的榮辱進退。曾國藩辦理軍務，處處與地方官們打交道，文武僚餉一事，諸如地丁嘈折，勸捐抽厘，地方官從中阻撓。征收漕糧，百姓以浮收為苦。漕糧大事，循例由巡撫專主其事。身為客官，專辦兵營軍事，有勸捐擾民之實，而無能加惠百姓之事，“不敢越俎代謀，縱欲出一剴切說明之告示，以儆官邪，而慰民望，而身非地方大吏，州縣未必奉行，百姓亦終難信。此辦事艱難之一端也。”
曾國藩就是這樣，在理學思想的指導下，爭得一分一利之境為己。凡事凡物心存霸心，一拚到底。
(2)一個人超強，越有本領做大事
曾國藩從幫辦湖南全省團練開始，就用木質關防，關防上所刻大字為“欽命幫辦團練查匪事務前任禮部右侍郎之關防”。鹹豐五年（1855）八月秋初缺，又換“欽差兵部右侍郎之關防”，自出征以來，得到皇上的命令，“皆係接奉廷寄，未經明降諭旨”。因此，外界譏嘲甚多，有人譏諷說：“自請出征，不應支領官餉”；有人指責說：“不應稱欽差”；有人說他曾經革職，不應專折奏事。歲月既久，關防屢換，往往被人“疑為偽造”。部將出差外省，外省地方官不予信任，對蓋有關防之公文不予理會，甚者竟將湘部出差外省的官員關押，加以侮辱。如果現在再赴江西軍營，又須改刻關防，則勢必愈難取信於人。軍營官兵立功受獎，鹹豐六年（1856）所請“實官執照”，至今尚未領到。此外，文員之憑，武官之劄，皆由督撫專交曾營，常退久而不到。“軍中之事，貴取信義如金石，迅速如雷霆，臣則勢有所不能，此辦事艱難之一端也。”
曾國藩仔細觀察局勢，認為“非位任巡撫，有察吏之權”，決不能治軍，決不能兼及籌響。
曾國藩伸手向清政府要督撫的官位，並不僅僅為個人爭地位，主要是為湘軍爭權利，爭政治待遇。按照清朝的慣例，曾國藩想帶的兵如此之多，作戰能力又遠較八旗、綠營為強，立下的軍功又如此之大，授予巡撫，功賞過薄，不足塞其欲壑，若授予總督，則軍政大權集於一身，又為朝廷所不甘。而恰在此時，胡林翼等已攻占了武昌，形成了高屋建瓴之勢，水陸師直搗九江。長江下遊方麵，自鹹豐七年四月何桂清接替冶良為兩江總督後，江南大營日有起色，正在進攻鎮江，捷報頻傳。所以清廷便決定將長江上遊戰事責成湖廣總督官文、湖北巡撫胡林翼，將下遊戰事、攻陷天京的希望寄托在何桂清與和春的身上。認為這樣處理，定操勝算。因此，斷然拒絕了曾國藩幹預朝廷用人大政，並撤銷了他兵部侍郎的職務，將他開缺在籍守製，削除了他的兵權。同時命署理湖北提督的楊嶽斌總統外江水師，惠潮喜道彭玉麟麟協同調度。這樣的結果，致使江西湘軍很快陷入了渙散狀態。後來，胡林翼雖然一度派李續宜等往江西統率湘軍陸師，依然無濟於事，而且李續賓、李續宜兄弟對清政府削除曾國藩的兵權也極為不滿，心懷退誌。
毫無疑問，曾國藩被削除兵權，瓦解了湘軍的鬥誌，渙散了湘軍的士氣，削弱了湘軍的戰鬥力，使江西湘軍陷入群龍無首的局麵。清軍的力量在消衰下去。如果這時太平天國的內部不發生楊韋事變等一係列大的變故，就能用兵長江上遊，重開湖北根據地。但是，鹹豐七年翼王石達開已決心出走，太平天國的軍事力量也在下降，這真是曆史的悲劇！
曾國藩被削除兵權後，盡管受到外界的譏評、嘲笑與責罵，卻獲得了全體湘軍官兵對他的同情與愛戴，使他在湘軍中的威望空前提高。七月，湘軍第一員大將李續賓致書曾國藩說：“一旦攻克九江後，或則皖省，或援豫章，先生不出，胡公不來，續賓何敢獨行前往？雖有厚庵、楊嶽斌、彭玉麟同往，而水陸路數不一，且不能谘商群師，難言之情，願先生有以教之。先生帶我出山，仍當懇帶我歸裏”。
曾國藩人在湘鄉，然所部將領與他書劄仍往返不絕。可以說，除曾國藩外、別人指揮湘軍是難以得心應手的。如1857年春，督辦江西軍務的福興到瑞州軍營視師，湘軍諸將待以客帥之禮。因此福興回南昌後，上奏請征兵，並說“勇了不可用”。可見“曾家軍”——湘軍，非一般督撫、將軍所能駕馭指揮的。這期間，在家鄉守製的曾國藩進入了人生的一個“反省調整期”。他和曾國華設立了家廟，每天黎明和晚上都跪倒在父親的牌位前，反省自己十幾年從政、治軍的得失，並回憶起父親曾麟書的每一次教誨。
曾國藩自被削去兵權後，無時無刻不在懷念他一手創辦起來的湘軍，“江右軍事，刻不去懷”。悔恨自己辦事“有初鮮終，比次又草草去職，致失物望，不無內疚”。每每想到這些，“夜間終不能酣睡，心中糾纏，時憶往來，愧惶撞擾，不能擺脫”。他在籍守製一共一年零三個月，在這段時間裏，他日夜在悔恨自己的去職失權，迫切期待著有朝一日，鹹豐帝命他重新走上前線，重掌湘軍。
自曾國藩離開江西後，由於石達開的分裂出走，直接削弱了江西太平軍的兵力與內部團結，因此，清政府方麵的軍事形勢始有所好轉，連續攻陷了瑞州、臨江、九江、建昌、撫州。但當時分布在江西的湘軍派係也很複雜，有王■遺部的張運蘭等部、江忠源係統的劉長佑等部，另外還有曾國藩係湘軍曾國荃、李元度、劉騰鶴等部。由於這些統兵將領，官位相埒，派係不同，互不統屬，各自為戰，缺乏統一的領導與指揮，因此，這些派係各異的湘、楚軍攻陷江西各府州縣後，將予解散乎？抑或由誰統率？這是清政府亟待解決的第一難題。