他想整頓吏治，卻礙著湘、淮係官員而不敢行動，這使他非常苦惱。
他多次向趙烈文訴苦，並檢討自己說，連自己管轄的“三吳吏治”都不能下手整頓，真是“負國負民”呀。
對於勇於任事而又有權勢者的貪婪與腐敗，或是與他們針鋒相對以自己的能力進行整治和鬥爭，或是與他們井水不犯河水，各行其道，相安無事，或是與他們同流合汙，自甘墮落。
而以曾國藩的為人與品格，當他重回兩江的時候，不可能選擇後兩種可能，而第一種可能又實感無能為力，這使他處於一種“欲罷不能罷”的尷尬境地，即使這樣，他也不能不被那些貪欲之人視為眼中釘，加上因對無業遊民哥老會組織給地方上造成的極度混亂的局麵，曾國藩深感問題的嚴峻，陷入了又驚又懼的深淵之中。
他常言：“我鄉會匪勃發，各地被擾。
這些無業遊民，逐風而逞，剿之而不畏，撫之而無術。
縱使十次被滅，而若有一次得逞，則桑梓之患，不堪設想，殊以為慮。
”他焦慮地預計，若是哥老會大股發難，首先遭到攻擊的一定是他們曾家（因為哥老會成員中有許多是被曾國藩裁撤沒有得到太多實惠並對他們不滿的湘軍官兵）。
所以，他不止一次地告誡曾國荃、曾國潢和家人，讓他們在鄉裏夾起尾巴做人，多積些陰德，免得遭到憤怒群眾的懲罰。
同時認為早晚難逃“劫數”，讓他們隨時準備“避亂遠出”。
家裏人一聽非常恐慌，商量全家搬往南京，但又舍不得家產，左右為難。
經與趙烈文等反複商量，還是把他自己的家眷子女接到了南京，避離湖南。
曾國藩連自己的家人老小都顧之不及，何談“肅靖”地方。
好在他在兩江總督的位子上沒有多久，又被調為直隸總督，離開了哥老會集中的長江流域，也管不著那裏的靖與不靖了。
對於成功者而言，也許他本身就是一個有“大欲望”之人，但更重要的是他怎樣才能合理地使用好那些有“大欲望”而又“能任事”之人則是他應當解決好的難題之一。
（3）以德服人而不是以勢壓人的禦人術
我們仔細研究曾國藩的禦人之道，就會發現曾國藩是從儒家文化那裏吸取了經驗，並變成了自己重德、輕勢的禦人術。
且看荀子《勤學篇》有一句名言：“君子博學而日參省乎已，則知明而行無過矣。
”一個人廣泛地學習，每天多次反省自己，他就會變得聰明，而且行為也沒有過錯。
這裏最難的不是“博學”，也不是“省乎己”，而是“日”和“參”，不僅“每天”，而且，“多次”反省自己，天下有幾人做得到呢？
曾國藩比荀子還嚴格，要求也更具體，在道光二十二年正月的日記中，他這樣寫道：“凡事之須逐日檢點，一日姑待，後日補救則難矣。
況進德修業之事乎？（湯）海秋言：人處德我者不足觀心術，處相怨者而能平情，必君子也。
”
他不僅逐日檢點，而且事事檢點，天下能夠做到這一步的人，大概寥若晨星。
更讓我們注意的是，曾國藩非常重視“德”、“怨”兩字，前一個字講的是要進德修業，要以德服人；後一個字講的是勿以怨相報，以勢欺人。
曾國藩的這種檢點的思想，並不是他心血來潮的奇思異想，實在是紮根於深厚的文化傳統的自然秉承。
孔子就說過“見賢思齊（看齊）”，“見不賢而內自省也”，看到別人有毛病就反省自己，孔子大概是中國第一個善於反省的大師。
孟子也是一個善於反省的大師，曾國藩最服膺於他，表示“願終身私淑孟子”，“雖造次顛沛”也願“須臾不離”，而孟子是從別人對自己行為的反應中來反省的，他最著名的方法就是“反求諸己”：愛人不親，反其仁（反問自己的仁德）；治人不治，反其智；禮人不答，反其敬。
曾國藩認真鑽研過的程朱理學也強調“正己為先”。
曾國藩正是在這樣的一個背景下來“逐日檢點”的，事關進德修業的大事，所以他才對自己要求得那樣嚴格，不可有一天的怠慢。
與怨恨自己的人相處，因為怨恨自己的人，往往是對自己的缺點或過錯最敏感的人，也往往是對自己的缺點能給予無情抨擊的人。
然而接受他人的批評是需要勇氣和胸襟的，尤其是接受那些與自己有矛盾的人的批評。
有人總是懷疑別人的批評懷有敵意，不管正確或錯誤一概拒絕，他沒有氣量不說，更重要的是他失去了一次檢點自己的機會。
有人說：“謗之無實者，付之勿辯可矣；謗之有因者，大自修弗能。
”器量闊大，使我們能檢點自己，大度本身就是一種魅力，一種人格的魅力，那不僅是對自己缺點的正視，而且也是對自身力量的自信。
的確，要先禦人，必須學會自禦。
在此，我們必須牢記住曾國藩的禦人之道是“凡事之須逐日檢點，一日姑待，後日補救則難矣”。