二十三年，癸卯，府君年五十九歲。
在台灣道任。顛林等既釋還，廈門夷酋忽生異議，謂台灣兩次夷俘，皆係遭風，鎮道冒功飾奏；大帥不察，彈章相繼。上乃命總督怡良渡海查辦。正月二十六日，製軍至台，即傳旨革職拿問。以所聞於夷人者，令鎮道具對。府君乃謂達洪阿公曰：夷人強梁反複，今一切乞權宜區處，膚受之辭，非囗舌所能折辯。鎮道不去，夷或別有要求，又煩聖廑，大局不可不顧也。且訴出夷人，若以為誣，夷必不服。鎮道，天朝大臣，不能與夷對質辱國。諸文武即不以為功，豈可更使獲咎，失忠義心；惟有鎮道引咎而已。遂具辭請罪。時，郡兵不服，勢洶洶，鎮軍親自撫循，乃散。翌日，眾兵猶人持一香，赴製府行署泣訴，而全台士民遠近奔赴具狀為府君及鎮軍申理，不下數千人。製軍懼犯眾怒，陽許入奏，竟匿之。供張未具，不戒而去。覆奏上，上命逮至京。三月，內渡。五月，自福州就逮北上。七月，過蘇州，伯父損軒府君先至，俟月餘，買舟送至清江而別。建寧張亨甫孝廉（際亮）、同裏張竹虛文學（紹）偕行。亨甫謂事若不測，將鳴台諫，求昭雪。竹虛偕入獄護持之。八月十三日，入刑部獄。時台諫交章論救，而粵督耆英致書京師要人，謂不殺台灣鎮道，我輩無立足之地。幸天子仁聖，深鑒枉曲；既入獄，命大學士查取親供。府君依實敘，辭末雲：臣未能逆料夷人有就撫之事，以致思慮疏忽，誠未能防患於未然。臣實有應得之咎，惟有請皇上從嚴治罪。幸臣以為詞意未洽，宜權辭以對。府君乃更易案情字句，而前語不易。供上，上曰：台灣事，朕已知之，毋庸閱也。二十五日，奉旨出獄。十月，奉旨以同知知州發四川用。府君請假回籍省墓，十一月抵裏。
二十四年，甲辰，府君年六十歲。
三月十五日，自裏赴蜀。六月，至成都。初，乍雅蕃僧第五輩呼圖克圖死，其下輩圖布丹濟克美曲濟嘉木參幼，駐藏大臣奏請以敕印交副呼圖克圖羅布藏丹臻江錯護理。及曲濟嘉木參長，已交還敕印矣，而頭人達末唆使攻殺丹臻江錯，不勝，轉喪其地，構兵數年不解。川藏大臣數委員查辦，不能蕆事。及府君至，大吏委理其事。十月一日，發成都。時，正呼圖克圖在裏塘。十一月十三日，府君至，檄令赴乍雅候訊，不肯行；但稟求革逐副呼圖克圖，重治屬蕃諸人罪，意頗要挾。府君以正呼圖克圖不至乍雅，已無憑質訊，複堅執一麵之辭，徒往不能結案，無益也。乃諭之曰：即日回省，為若請之；異日大皇帝別有他旨，無悔也。乃大懼，乞駐防文武轉求發還原稟，不許。上書於川督曰：此案曲在正呼圖久矣，夷情狡詐，今委員回省，彼必深懼，若發兵數百進駐裏塘，聲言剿辦，又給唐古忒印劄，飭其有呼圖克圖民人入境，即行拿送，則事濟矣。十二月二十二日，至成都，複麵陳之，不許；且以為未奉劄飭，不應中途折回，奏請摘去頂戴，更委宣太守（瑛）、丁別駕（淦）往察木多訊辦，仍令府君同往。府君之初至川也，大府言奉上命，以直隸知州用，既而有所索，府君峻辭拒之，大怒，故有乍雅之行。是年，補順慶府屬之蓬州。
二十五年，乙巳，府君年六十一歲。
二月二十五日，偕丁別駕發成都。六月三日，至察木多，其地去成都三千六百餘裏。十二月二十八日，東還。宣太守以兩呼圖克圖不遵判斷，稟奉大府諭令東還也。
二十六年，丙午，府君六十二歲。
三月二十六日，至成都。製府奏以夷情桀驁，非囗舌所能折服，已令委員回省，惟姚某前於具稟後不待回報，即自轉回，究屬非是，請旨開複頂戴，仍交部議處。府君兩次奉使，往返萬裏，冰山雪窖中，崎嶇備至，處之恬如，途中誦讀吟詠不輟。所至，於地方、道裏、遠近、山川、風俗、詳考博證，而於西洋各國情事及諸教源流，尤深致意焉。成書十五卷，名曰康輶紀行，附中外四海地形圖說一卷。五月，蒞蓬州任。蓬俗，鬻業必鳴於官，始立券納稅；亦有買主無力或不願買，為人構訟者。官吏因以為利。民頗病之。府君遇來控，一聽買者之願否，被抑勒者恒能自伸，訟風頓息，胥役多乞退者。
二十七年，丁未，君六十三歲。
在蓬州任。二月，始建玉環書院於州城北。七月，建龍神祠於城東北隅玉環山麓。蓬州地僻事簡，府君公餘多暇，讀書有得，輒筆綠之，成寸陰叢錄四卷。
二十八年，戊申，府君年六十四歲。
二月，赴成都。先是，英夷求西藏通市，大臣許之，駐藏大臣斌良公密奏薦府君為前藏糧台。府君以素為夷所忌，若預和市，夷必借囗啟釁，於邊事無益而有損，非忠於謀國之誼。會斌良公以憂憤卒，川督琦善亦不欲府君往，乃引疾乞歸。三月，回蓬州。卸州事，將行，適書院落成，士民請留十日。時，川北道胡恕堂觀察（興仁）以事過蓬，蓬人為府君立位仁廉祠，喧闐走送，觀察嗟歎，入之曰：君可謂大用之而大效、小用之而小效矣。五月杪，抵裏。府君之入蜀也，浚昌隨侍，每有遊賞必從。府君雖處遷謫，而興致不衰，吟詠盆豪，時人以比東坡之在海南。歸裏後，江督李文恭星沅三以手書相召，府君辭不獲已，約以次年往。
二十九年，已酉，府君年六十五歲。
正月二十四日，伯父損軒公卒。三月，赴金陵，李公旋以疾去，繼任者陸公（建瀛），留府君編海運紀略後編，成二卷，紀道光二十八年海運事。其前編，則道光六年陶文毅為蘇撫時所辦也。時，淮南鹽法疲壞，製軍議改行票鹽，府君謂淮南異於淮北，更張非善策，為議上之，不用；辭歸，不許。淮南監掣同知童公（濂）延請修南北史注。
三十年，庚戌，府君年六十六歲。
在金陵。文宗顯皇帝登極，有詔中外大臣各舉所知。大學士潘公（世恩），尚書魏公（元烺）先後奏薦，會陸製軍先奏為九江鹽卡委員，奉旨俟鹽務辦有起色，送部引見。
八月，至九江。九月，大學士穆彰阿、耆英以罪免，朱諭中有雲：如達洪阿、姚瑩前在台灣盡忠盡力，必欲陷之，天下益知台灣之事由於大臣，非先帝意矣。十月，製軍以南鹽辦有成效，欲為府君請複道職。府君上書力辭，乃止。十二月，奉旨：授湖北鹽法道。
鹹豐元年，辛亥，府君年六十七歲。
正月，奉旨馳驛前往廣西，讚理軍務。二月，為不孝浚昌娶婦光氏（直隸布政使栗園先生聰諧次女）。五月，抵桂林，尋奉旨授廣西按察使。六月，大學士賽尚阿公以欽差大臣至軍。時，逆首洪秀全踞紫荊山。府君上議八麵環攻之，未行。閏八月，賊潰圍出，陷永安州。府君方在署，聞報，夤夜告大帥，請往督進攻，帥及同官皆止之，不聽；馳往永安，擇北路要隘新墟地方駐之，撫軍鄒公（鳴鶴）以勇三百為之護。凡監督攻剿、探報軍情及支發糧饟、犒賞器械、往來籌商，常一日數發書，心無停思、手無停筆。營於畦壟間六閱月，有勸借居民房者，弗納也。賊之在永安也，精銳皆在水竇、莫家村二處。府君議進剿必先拔城外兩壘，拔水竇必一由黃村入、一由佛子村出，不惟破水竇，並可免其南竄。此上策也。不則，一由仙回嶺攻莫村，一攻水竇。此中策也。時，都統烏蘭泰公，亦持此論。先據佛子村，欲向提軍（榮）由黃村進兵夾攻，向不從，由龍寮嶺進，敗回，遂欲放開水竇一路，縱賊使逃，然後追擊之。府君複上書大帥，力辯其不可。又與向書曰：自古兩賢不可相扼，賢臣名將無不和衷協力、共成大功，未有各自一見而能成功者。賊之輜重盡在水竇，聞其備兵於外，以為竄逸之計，故須閣下一軍守黃村山門隘，由外攻入，烏兵由內攻出。此上策也。閣下進兵既不能迅速，複於大計依違其間，可乎？卒不聽。大帥惑向言，亦主其議，反謂都統言不實。府君申辯，不聽；請斬僨事將官以激將士，複不聽。
二年，壬子，府君年六十八歲。
二月十六日夜，賊自永安東竄，向提軍督軍從後追擊，遇伏大敗，亡四總兵。烏蘭泰公連戰皆捷，追至桂林南境將軍廟，中炮傷歿。府君隨大帥駐陽朔。二十九日，賊撲廣西省城，向提軍先一日至，守禦得無恙，賊遂陷興安、全州。府君赴興、全安撫。道州、江華相繼失守。府君卸翼長事，辦理糧台。上議請速進兵，大帥不能用。俄而賊連陷湖南州縣，遂圍長沙。時，賽尚阿公逮入都，詔以廣督徐公（廣縉）代之。賊圍長沙數月，以西北無備，遂竄益陽，轉陷嶽州。府君辭糧台，欲回粵西本任。湖南撫軍張公（亮基）奏留，權湖南按察使。方府君在新墟，日坐臥畦壟間，暑寒、風雨、濕氣浸淫，焦勞憂鬱。逮至永州，遂患痹痿。旋經醫藥，亦已可步武矣；猶冀湖南臬署，藉資調理，仰望蒼穹其猶假餘年也。豈知旬日之間，舊疾複作，竟以十二月十六日棄不孝而長逝。不孝浚昌，聞耗星夜奔赴任所，扶櫬歸至鄱陽，而桐城又陷，路大阻，遂殯於鄱。
同治元年三月，始克扶櫬返裏，即以是年十二月葬於龍眠山小河囗山麓。府君子女三人。長姊適福建按察司經曆張彙，妣方淑人出也。又撫族叔獻之女為女，適吳祝康。生母蕭宜人生兄孝及不孝浚昌。兄孝殤。浚昌以軍功補江西安福縣知縣，加同知銜。孫三：長永檢，次永樸，次永樞。女孫二。府君性嚴正，不為苟容。遇事直言無隱，事過輒忘之。宦四十年，常以濟人利物為念。族戚中貧乏者，月給錢米。歲終踵門告困者三數百家，常負貸應之。歲時必親詣其家，問疾苦，為之籌計。故所助雖有豐儉，而人之感同深。嚐欲置義莊、義學，上祀祖宗、下濟族眾，手書捐公簿寄示不孝曰：吾欲三年後廉俸之餘了此，世方多故，不識果如願否？建寧張孝廉（際亮）偕府君至都而卒，府君經紀其喪，攜櫬至桐，召其子付之以歸（孝廉詩稿三十餘卷，府君任為刊行未果，常以為憾。同治八年，浚昌始校梓於安福）。卸台灣令時，繼任某讒於道府，多被扼抑。及某卸任，虧公帑巨萬，莫能歸，府君適客於台，憫之，倡捐番銀五百以助償官負。又言於上官同僚，遂免劾去。嚐為從祖置數百金，存戚某所。某歿，負債甚多，無以償。府君慨然曰：此金無不償之理。然某與吾為至戚，今身歿而家若此，何忍困其後人！惟吾有以全之耳。遂索券焚之，而別贈從祖如數。生平慷慨好施與，大率類此。府君自弱冠時，即以經世自任，為政務因地製宜，無所偏執。初任平和、龍溪，政尚猛烈，巨猾斂戢。同裏方植之先生，自粵寄詩，有「王渙陽球各有名，荀香仇鳳猶堪惜」之句，蓋有叔向貽書之意。及府君至江南，一以拊循為事。方先生贈詩，又有「消息與時遷」之句。皆紀實也。所至尤以立學校、敦士習為務。當台灣軍事倥傯之際，猶興修海東書院，延同裏左石僑廣文（德慧）主之。並出家藏書目屬左君編次，以示肄業諸生，使海外士子鹹知向學。又以府學祭典荒陋，出廉俸依據禮經製之，籩豆鍾簴之屬鹹備。更勸富民捐金二千，歲收其息，以供祀事，泐石紀之。曆仕多見扼於上官，然名臣如董文恪、趙文恪、陶文毅、林文忠及劉撫軍（鴻翱）、程簡敬（祖洛）、鄧製軍（廷楨）、魏尚書（元烺）、鍾製軍（祥）、汪尚書（誌伊）皆極信任，言無不從，故能行其意。台灣總兵達洪阿公，性過剛，同官鮮與合。府君初至，亦見齟齬。凡曆二年，務交以誠，一旦詣謝曰：武人不學，為君姑容久矣，自後諸事悉聽君，死生禍福願與共之。遂結兄弟交。夷數犯台灣，皆擊退，文武同心故也。及在廣西，事多掣肘。府君竭力維持，辛苦焦勞，艱難險阻，苟有益於國，罔不盡瘁為之。都統烏蘭泰公，忠勇有謀，以諸將不能和衷，致孤軍戰歿。府君嚐與之書曰：君子之用心與烈男子之誌氣，無非行其所安。所異於世俗鄙夫者，惟不避艱難、不貪榮利耳。某以將就木之年，複何所貪？惟念主憂巨辱之義，無以報國家；祗此蔬食惡處，下共士卒之辛勞、上對九重之宵旰，幸數十年貧賤憂患，本無寧居，今日寢處，一如我素。是以尚能耐此日霜，未有疾病，可慰知己，無以為念。又曰：我輩矢此一心，惟知君父。吾力有一分未盡，即是此心有一分未忠。豈如世俗鄙夫與同輩爭勝負、角短長哉？夫功敗於垂成，病加於小愈；前者武宣之事，賊已將就擒，徒以狃於大捷之後，計慮稍疏，遂使困禽脫網。今幸兵威再振，賊勢又窮；而我師愈久愈疲，賊又日懷奔逸之計，無論勞師糜餉不能久持，萬一再有疏虞，複蹈前轍，不但無以對皇上，天下後世謂閣下何如人哉？某以垂老之年，恨不能介胃馳驅，搴旗斬將，然受命從戎，不敢不竭其心力耳。府君之意，蓋明知言不見聽，於事無裨，以身受兩朝知遇，不得不效力行間，以冀報稱萬一，所以抑鬱悲憤至於二年不忍乞退也。府君之使西域也，雅州守餘公（坤）諷以退。府君與之書曰：嚐念五倫中，惟父子、兄弟、夫婦不言報施，君臣、朋友，則有視所施為報者矣。居嚐歎士大夫及世太平，爭取通顯，一旦有事，即思為潔身之計，何其薄耶？某自通籍以來，三見黜矣。前者為貧，欲得微祿養親，亦思有所樹立，以大臣薦，遂受知遇；台灣力守，所以報也。英夷之獄，議和諸帥皆欲甘心鎮道以謝夷人，賴上仁明，供辭甫上，立出之獄，複予官，使避夷入蜀，此豈尋常恩遇哉？所如不合，則命為之，非上意也；不得以此遂忘其大夫。臣子用心，不必求知於君父，要當自盡其道，孤行其誌。儻竟不及報，而以黜退或衰病也，吾心亦可無負矣。府君生平出處，忠誠不苟如此。府君於書無所不窺，顧不好經生章句。平居慕賈誼、王文成之為人、為學，體用兼備，不為空談。文章善持論，指陳時事利病，慷慨深切。詩自明七子入而以盛唐為宗，大抵於古人善處別有會心，不肯貌襲，往往成一家言。或以與先儒稍異疑之，府君笑而不答。所交同裏諸先生外，上元管異之（同）、梅伯言（曾亮）、甘泉汪孟慈（喜孫）、江右吳蘭雪（嵩梁）、湖南鄧湘皋（顯鶴），鄱陽陳伯遊（方海）、番禺張南山（維屏）、光澤高雨農（澎然）、建寧張怡亭（紳）及其弟亨甫（際亮）、武進李申耆（兆洛）、山陽潘四農（德輿）、臨桂朱伯韓（琦）、晉江陳頌南（慶鏞）、益陽湯海秋（鵬）、南豐吳子序（嘉賓）、道州何子貞（紹基）、寶山毛生甫（嶽生）、宜興吳仲倫（德旋）、江都梅蘊生（植之）、龍溪鄭雲麓（開禧）、龍岩饒嘯漁（廷襄），皆以文章經濟見推重。又有龍溪李太守威，夙望頗高，其學出於陸、王，先儒名宿少所許可；晚遇府君，獨敬禮之，以為所談不足為外人道也（所著嶺雲軒瑣記，府君任為刊行未果，浚昌刊於安福）。府君詩文皆自訂，凡東溟文集六卷、東溟外集四卷、東溟文後集十四卷、文外集二卷、後湘詩集九卷、二集五卷、續集七卷、東溟奏稿四卷、東槎紀略五卷、康輶紀行十六卷、寸陰叢錄四卷、識小錄八卷、姚氏先德傳六卷，俱刊行，版毀於兵。同治六年，不孝浚昌重刻於安福。晚年文七首及粵西軍中狀牘，浚昌謹編次為中複堂遺稿五卷、遺稿續編三卷。總九十八卷，名曰中複堂全集。