時事多艱，動則掣肘。我就想，自己並非國家必不可少之人，而且年過六十，隻身於數千裏外，晝夜焦勞，對國家雖然不無小補，但事權不屬，也不可能有什麼作為。考慮再三，我親自動筆寫了詳文，決意引退。
或許是才思減退吧，自己雖然覺得這篇詳文很是感人，可是巡撫毓科讀後竟不為所動。我又當麵求他，他仍舊不肯代為上奏，真是欲罷不能。
安遠被太平軍圍困了五十多天，建昌又被圍了十幾天，賊軍竄入汀州，分成幾股由鉛山往婺源而去。玉山縣三次被圍，廣信府兩次被圍，雖然沒有失陷，可是賊軍所過的鄉村，全部化為廢墟。
曾督嚴令，地丁銀和漕折銀一兩也不準拖欠，並說賊軍隻是一掃而過，並沒有停留，已經奏請減緩的，仍舊奏請複征，如果朝廷為此處分，就由他一個人承擔。曾督著有《經世文編》，我讀過幾篇，怎麼說呢，孔子是述而不作，他是作而不用。和很多身居高位者一樣，他很難聽進下屬的話。我剛來的時候，承蒙他抬舉，他寫信問我對軍務有何建議。當時徽州和寧國都還沒有失陷，我就提了四條建議：“請閩浙總督慶端駐紮三衢，保護嚴州，進兵浙江中路；由曾督派一位帶兵大員，駐紮江西玉山，從紹興一帶進兵浙江東路；請主帥駐師寧國，步步為營，穩紮穩打；嚴令總兵普承堯守住建德，不讓賊軍外竄，繞道攻擊我軍。”
曾督回信說：“您說的的確很有見地。隻是現在慶端已經回到福州，根本不想進兵浙江，所以……”可沒過多久，休寧、寧國相繼失陷；接著，李元度把徽州也丟了；接著；賊軍圍攻建德，普承堯不戰而逃，率領的六千楚勇頃刻潰散，火藥軍裝，全部落入賊手。賊軍跟著潰兵一路追擊，彭澤、湖口、浮梁、德興、都昌、景德六鎮全部失陷，贛東北一帶，片瓦無存，白骨為莽。
普承堯，原是雲南的武進士，從外地投奔曾督軍中。他帶著六千湘軍守禦建德，每月開銷二萬兩餉銀、一萬串製錢，剛開始由江西軍需項下供支，後來奉命改由糧台發放。每次領餉出庫，普承堯就讓士兵先把銀子搬到自己的住所，扣下幾千兩不等，說是改天買米送到軍營——隻有鬼才相信。普承堯平時架子大得不得了，接見州縣官員時從不起身，巡撫毓科也對他頗為忌憚。
普承堯的妹夫，已被革除道員的馮席珍和手下將領畢金元私通太平軍，為他們通風報信，被水師將領彭雪琴抓獲了，押到曾帥營中。湖北巡撫胡林翼來函，命令將馮席珍、畢金元拿獲後，就地正法。後來聽說馮席珍解到了曾營，畢金元則不知去向，不了了之。
冬月，賊軍進逼建德，普承堯率眾先奔，敗兵一路燒殺搶掠，到九江後，還毀牆拆屋勒逼欠餉，並聲言整隊進省後要首先殺掉巡撫。巡撫毓科很害怕，招雇了一百多人每天在官署訓練，名為親兵。我笑道：“普承堯沒膽殺賊，當然也就沒膽造反。他大言恐嚇，不過是為了多領些軍餉，在進大牢之前最後撈一把而已。”曾督竟下令傾資發餉，每名散勇發銀四兩，還讓省城運四萬軍餉到九江。彭玉麟擔心這些潰兵鬧事，另外又借了一萬多兩。誰知領到軍餉後，潰兵卻依舊十分囂張。
為了打發走這群丘八，九江道文恒隻好在每人四兩之外，再加發二兩，這些散兵遊勇才渡江回到曾帥營中。曾督下令，挑選一部分敗兵編入鮑超軍營，不願留下的，發放路費遣散，讓他們自行回湖南。曾督挑不中的兵丁，則由他的弟弟曾國荃接收。