趙烈文著《能靜居日記》同治六年九月初十日的日記載：”師自言……親族貧窘者甚多，雖始終未一錢寄妻子，顧身膺朊仕，心中不免缺陷。複得九舍弟乎筆寬博，將我分內應做之事一概做完，渠得貪名而我償素願，皆意想所不到。””師曰：吾鄉中無大木，有必墳樹，或屋舍旁多年之物，人藉以為蔭，多不願賣。舍弟已必給重價為之，使令者則從而武斷之。樹皆鬆木，油多易蠹，非屋材，人間值一緡者，往往至二十緡，複載怨而歸。其從湘潭購杉木，逆流三百餘裏，又有旱道須牽拽，厥價亦不啻數倍。買田價比尋常有增無減，然亦致恨。”曾國荃在彈劾官文之後，日子過得很不舒心。前向與撚軍打仗，新湘軍敗得潰不成軍。官場對劾官一案一片嘲諷，都說他心胸狹窄，居功自傲，朝廷也覺得他做得過分了。曾國荃處在內外夾攻之中，遂借口傷疾複發，辭官回裏了。回到荷葉塘之後，他用從安慶、江寧掠來的金銀廣置莊田，大興土木，大夫第建築得龐大複雜，耗去近十萬銀子，令湘鄉士紳聞之咋舌。平素家居揮金如土，一切都講究豪華、氣派。他嫌湖南的信箋不好，派人帶八百兩銀子進京，將琉璃廠的名貴信箋一掃而空，驚得那些老板們瞠目結舌。他自己也覺得有點太鶴立雞群了，怕招致兄弟侄兒們的怨恨，於是瞞著大哥，在離黃金堂五裏外的地方建起一群樓房，取名富厚堂，作為送給大哥的禮品。又建一座房子，取名有恒堂，送給國葆的嗣子。又將黃金堂予以改建，更名萬年堂，安置國潢一家子。國華的妻妾住白玉堂，不想再動，於是他又送二萬銀子給紀壽。這樣，兄弟侄兒們同聲讚揚九爺的手足情深。但方圓數十裏的百姓則怨聲四起。因為曾府興建如此多的高樓大廈，需要大量的合抱老樹，而這些老樹大都長在墳山上，主人家都不願砍伐。曾國荃把四鄉頭麵人物請來，要他們幫忙。這些人誰不想討好？便硬逼著老百姓砍掉從祖父輩、曾祖父輩傳下來的墳山大樹孝敬曾府。百姓們敢怒不敢言，私下裏無不恨得要命，都巴望新建的樓房遭雷打火燒。這尚在其次，最使曾國荃頭痛的是兩件事。
一是原吉字營陣亡將領們的子弟，三天兩日來找他訴苦。他們也有自己的苦惱。撫恤銀有限，一兩年就用光了。眼看著別人風風光光地回到家裏，帶來的財寶用船裝，用車載，自家的親人賠上一條命不算，一點分外財也沒得到，他們何能不氣惱，不眼紅！這是一層。還有一層，死去將領們原來的部下有混得不好的，也常常跑上門來大哭大鬧，說是先前欠了他的餉未發，都私吞運回家，逼著要其子弟補欠餉。這些子弟們又煩惱又氣憤，無處發泄，便都找上原吉字營的統帥。有些婦道人家還因此想起死去的丈夫、兒子，能在大夫第披頭散發地哭上幾天幾夜不罷休，弄得曾國荃一家不得安寧。有些實在不能對付的舊親舊誼，還隻得拿出幾十百把兩銀子來，才能勉強打發走。
第二件頭痛的事，是原吉字營官勇在湖南、在湘鄉境內的惹是生非，其中尤以哥老會鬧得最凶。哥老會的成員大半部分是那些在前線掠財不多的下級軍官和勇丁。仗打久了，農民的勤勞儉仆的本性丟盡了，又仗著有點本事，有幾次戰功，見過場麵，膽子大得很，有的甚至無法無天，胡作非為，再加之結成會黨，使得地方官都不敢正視，老實的百姓們更是遠遠躲開。這些為害鄉裏的湘軍舊部，遠勝過當年的串子會、紅黑會、一股香會，令過去的搶王盜賊們望塵莫及。百姓們的怨罵，官紳們的指責，都輾轉傳到了原吉字營統帥的耳中，他無可奈何。而且還隱隱約約地聽說羅澤南、李續賓家也有人卷入了哥老會，又說是蕭孚泗當了哥老會的總頭目。沒有真憑實據，曾國荃不好處理他們，何況這個對朝廷滿肚皮牢騷的一等威毅伯，壓根兒就不想處理這些事。