曾國荃和楊載福連連點頭，當即告辭趕回安慶去了。
五月二十二日，曾國藩給江西糧台發出公函，支發六千兩銀子，委派原嶽州守備成名標赴廣東購買洋炮。成名標當年在衡州督辦戰船頗為盡責，因虛報數千銀兩被革除營官職務，降為水師哨官留用。曾國藩知道他幾年來洗心革麵，逐漸精通火炮技藝，決定重新起用他。成名標感激涕零，曾國藩一番勉勵，他立即前赴廣東辦理不提。
五月二十七日，曾國藩離船登陸，與眾幕僚行至東流歇息。次日來到建德，巡視普承堯駐軍營壘，接見各營哨官，勉勵他們加緊操練，剿滅長毛建功立業。
從收到的兵部塘報，曾國藩知道這個月裏發生了很多大事。首先，是張玉良被革職留營，任命瑞昌總統江南諸軍。其次，是江蘇巡撫薛煥移駐上海，暫署兩江總督印務。太平軍攻勢淩厲，鬆江府失守，所幸官軍很快收複了。縱觀各方情況，曾國藩覺得局勢仍然十分嚴峻，必須更加謹慎。
六月初二日，曾國藩駐節建德縣。他老謀深算上奏朝廷，說安慶之圍不可撤動，蓋取上遊製下遊之勢也。臣南岸一軍，先守徽州、寧國要縣，暫不深入，庶免賊軍抄我後路之虞。至於地方公事，未可置於緩圖。臣在皖南駐紮行營，仍於安慶水次設立老營，規模與行省衙署相似。曆年文卷概存水次官署，專委司道大員經營。其地方尋常事件，即令代拆代行，緊要者彙封送營核辦。此臣兼管地方變通辦理之大概也。
然後，附片奏報，已革守備成名標請開複原官。又片奏水師各營候選候補人員，請援照鹹豐六年奏準前案，各照升銜給予封典。再一想，自己新任兩江總督，必須有可靠的人輔佐，又附片奏請，調四川萬縣知縣馮卓懷來大營當委員。
六月初四日，曾國藩傳令拔營起行。初九日，在途中收到上諭：“曾國藩現已抽調兵勇萬人，由宿鬆進駐祁門，俟鮑超、張運蘭、李元度到後，即行分路進兵。具見胸有成竹，謀定後戰。惟蘇省待援迫切，該署督惟當催令鮑超等迅速來營，會籌進剿。但能援師早到一日，即早一日救民水火，實深殷盼。該署督現統兵勇較單，未可輕率前進，宜加持重為要。”
讀了這道上諭，曾國藩微微冷笑。這簡單的道理，還需軍機處大老爺來指教嗎？
六月十一日，曾國藩一行終於抵達祁門縣城。這時，各路軍馬依次到達，曾國藩調派他們選擇要地駐紮安營。十三日，委派專人管理地方案牘。當時文卷日益繁多，乃仿照平時衙署章程，分為吏部、戶部、禮部、兵部、刑部、工部六科，選擇老誠書吏簽收貯存，然後彙集到安慶老營。
十六日，曾國藩奏報行抵祁門一折奏陳：鮑超、張運蘭均難刻期到達皖南，而左宗棠、李元度新招募的兵勇，則須七八月間陸續前來。臣兵力過於單薄，未敢輕進。
又具折奏稱：楊載福、彭玉麟本係臣舊部，茲複奉旨，歸臣調遣，自應欽遵辦理。惟軍情未可遙度，奏報不可太遲。楊載福統帥水師，謀勇器識度越諸將。所有江麵戰守事宜，仍令該提督自行具奏。
這時，原安徽巡撫副都禦史張芾在徽州被人彈劾，左宗棠曾奉旨赴四川督辦軍務。曾國藩反複考慮，附片奏稱：欽奉寄諭，徽、寧等府，本曾國藩兼轄地方，該處軍務，並由該署督督辦，自覺實權歸一。臣查徽、寧兩郡兵勇不能得力，臣初到祁門，情況未熟，兵將未齊，未便接管皖南軍務。張芾所部各軍，應暫由該副都禦史通籌調度。
曾國藩明白，此時皖南境內太平軍實力強悍，曾國荃率軍圍攻安慶絕不能抽調，身邊兵力單薄，便與官文、胡林翼會銜上奏，請令左宗棠督率兵勇來皖助剿。
回想自己治軍八年，轉戰兩湖、江西、安徽四省，都是客居孤懸，與地方督撫分主客之勢，處處受人掣肘，艱難竭蹶苦不勝言。如今總算擁有了實權，不再仰人鼻息，能夠施展宏圖了。他決定以安慶水次為老營設立行署，奏派大員總理地方文卷，劄委銀錢所、軍械所、發審所各員弁，刊發營製營規，訓飭各營將領士卒；還刊發《居官要語》一編，訓飭僚屬官吏。為了加強監督，密劄司道官員舉劾屬員，並密劄各營統領舉劾營官哨官，均用密函上達。
他親自接見祁門及各地官員，教他們以廉潔為本，而以善聽善斷為用，各官員領命而去。
當時江蘇各道府州縣城邑大多被太平軍攻陷進擾，地方富紳爭相趕赴上海避難。李秀成的太平軍又攻陷了鬆江府，進犯上海，江蘇巡撫薛煥督官軍固守。攻進浙江的太平軍，包圍湖州逼近杭州，分別攻陷各屬城邑。皖南的太平軍，圍攻寧國十分緊急。各處官紳都盼望曾國藩率軍赴援，他每天要接到公牘私函數十封。由於軍馬將領未能及時趕到，曾國藩不能貿然進軍。他唯一能做的，就是天不亮就起床，天一亮即巡視營壘檢閱操練。日中清理文卷，接見賓客僚屬，難得閑暇。他常常對幕僚們說，時局艱難，唯有辛勞補救。
3.整頓吏治
辦好幾件緊要事，曾國藩到祁門縣城察看四周地形。他發現，縣城四周山勢陡峭，與外界相連的僅有官馬大道，東通休寧、徽州，西聯景德鎮。除此之外，還有一條小路，連接北麵的兩個小鎮，名叫大洪嶺和小赤嶺。一條小河名叫大共水，南下經浮梁、景德鎮，流入鄱陽湖。但這條河河麵狹窄，隻能通過坐兩三個人的小船，貨船不能進來，水師戰船更不能進來護衛。如果東西方向的大道被堵，與外麵的聯係阻斷，小小縣城就會陷於絕境。曾國藩暗暗後悔，不該匆匆將駐紮祁門的決定上報朝廷，事已至此，不能輕易更改。幕僚們久在軍旅，也懂得地勢險惡，勸他另選地方，但曾國藩覺得自己應該言出如山，不肯答應。