翰林院的官員，讀書養望、切磋交往是“本職工作”，本無可厚非，但每天如此打發日子，終究養不成經世的韜略。二十二年十月的一天，曾國藩讀了《易經·損卦》後，即出門拜客，在杜蘭溪家吃了中飯，隨即又到何子敬處祝賀生日，晚上又在何宅聽了昆曲，到了“初更時分”才拖著疲倦的身軀回到家中。當天的日記又充滿自責，說：“明知（何子敬生日）盡可不去，而心一散漫，便有世俗周旋的意思，又有姑且隨流的意思。總是立誌不堅，不能斬斷葛根，截然由義，故一引便放逸了”。《日記》中仍不忘“戒之”二字。
但決心一再下，行動依然如故。當月的二十四、二十五日兩天，京城刮起大風，曾國藩“無事出門，如此大風，不能安坐，何浮躁至是！”“寫此冊而不日日改過，則此冊直盜名之具也。既不痛改舊習，則何必寫此冊？”
曾國藩認識到“往來征逐”，就是浮躁，這已成為他的兩大病根之一了。他雖強迫自己靜下來，坐下去，但讀《易經》中的《旅卦》《巽卦》卻一無所得，甚至連“白文都不能背誦，不知心忙什麼。丹黃幾十頁書，如勉強當差一樣，是何為者？平生隻為不靜，斷送了幾十年光陰。立誌自新以來，又已月餘，尚浮躁如此耶！”他也分析為什麼如此交遊往來，無非是“好名”“希別人說自己好”，並說這個病根已經很深，隻有減少往來，“漸改往逐之習”。
曾國藩在改掉這個病根的同時，也很好地維護了自己的名聲。
“聲聞之美，可恃而不可恃”，“善始者不必善終”，這是曾國藩對功名的看法。
曾國藩曾寬慰、告誡弟弟說：“我們現在處於極好之時，家事有我一個人擔當，你們就一心一意做個光明磊落、鬼服神欽的人。待到名聲既出、信義既著，即使隨便答言，也會無事不成。所以不必貪財，不必占便宜。”
可見，曾國藩是把名譽和貪婪相聯係的。貪婪的人，惡名加身；大度的人，清譽在外。一旦名聲遠揚，就可以不拘小節了。曾國藩的見識可謂高拔，甚至可以說有點狡猾，他把好名聲看成人的立身之本，本應正，源要清，不可本末倒置。
曾國藩對家族的名望或聲譽十分看重，為了保持這個家庭的名望和聲譽，曾國藩可以說殫精竭慮、鞠躬盡瘁。
常言道，樹大招風。由於家大業大勢大，兄弟幾人都在朝廷做大官，於是乎外麵就有不少關於他們兄弟的傳聞。
曾國藩就不止一次地聽說過對他們兄弟惡行的指責，他聽了以後，不想秘而不宣，而是一一轉告各位兄弟，或者直接責備，或者委婉相勸，希望他們有則改之，無則加勉。
因為名望所在，是非由此而分，賞罰由此而定。有一年冬天，朝廷中有一個叫金眉生的官員就被好幾個人彈劾，結果家產被抄、被沒收，妻子兒女半夜站在露天下，飽受風寒冰凍之苦。曾國藩說：“難道這個金眉生果真萬惡不赦嗎？其實，不過是名聲不好，懲罰隨之而來罷了。”
所以說，人言可畏，眾口鑠金，積毀銷骨。那些議論不知道在什麼地方興起，也不知道在什麼時候結束。眾門悠悠，沸沸揚揚，防不勝防。那些有才華的人，因為那些懷疑與誹謗無根無據，雖然惱怒，但還是悍然不顧，結果誹謗一天比一天嚴重；那些有德行的人，因為這些誹謗無根無據而深感恐懼，於是，收斂下來認真反省，並對自己今後的一言一行、一舉一動都十分謹慎，結果誹謗不攻自破，謠言一天天平息下去。
曾國藩說：“我忝居高位，又獲得了極高的虛名，時時刻刻都有顛覆的危險。通觀古今人物，像我這樣名大權重的人，能夠保全善終的人極為少見。因此，我深深擔憂在我全盛之時，不能庇護你們，到了我顛覆之時，或許還會連累你們。所以，我隻有在我沒事的時候，時常用危言苦語來勸誡你們，這樣或許能夠避免大災大難啊！”
曾國藩不停地反省自己：“孟子說：‘我愛別人，別人卻不親近我，自己要反躬自省，自己的仁愛是否有不到的地方；我以禮待別人，別人卻不理睬我，自己要反躬自省，自己的禮儀是不是不周到。’……我的聲望越來越高，就是我自己也不知道這是從何說起，隻恐怕名望超過了實際……這全部責任在於做哥哥的提倡、做表率……”
凡功成名就之人，名望愈高，愈是珍重這份榮譽。曾國藩過人之處在於，他對自己的名望始終抱有懷疑的態度，甚至根本就認為沒有什麼名望。他從自己至愛的兄弟們身上，看到了名望遮掩下的裂痕和隱患，由此及彼，別人會怎樣就可想而知了。
懷著這種深刻的認識和無盡的憂懼，曾國藩把這一感觸不時傳送到兄弟們身上。他鼓勵、勸勉他們為百姓多幹實事，勿為名望二字所累。他說：“那才是我曾家門戶的光榮，阿兄的幸運。”
可見，曾國藩非常注重名聲。他不希望因自己的地位越來越高，就不注意自己的名聲，從而引起別人的閑言碎語，更不希望家人對自己的名聲有所破壞，因為他明白一個人怎樣才能守住自己。