這年十月十九日（1850年11月22日），以欽差大臣暫署廣西巡撫的林則徐病逝於潮州普寧縣。他是奉鹹豐帝之詔赴廣西鎮壓剛起事於桂平縣金田村的拜上帝會而中途病死的。鹹豐帝小時候就知道林則徐對付英國人很有辦法，於是想起用林則徐。當時穆彰阿告訴他：林則徐老了，不知道還能不能去？沒想到林則徐竟會死得那麼湊巧。鹹豐帝氣不過，便認為穆彰阿是始終與林則徐為敵，於是頒朱筆罪伐了穆彰阿和經手簽訂《南京條約》的耆英。諭曰：“穆彰阿身任大學士，受累朝知遇之恩，不思其難其慎、同心同德，乃保位貪榮，妨賢病國，小忠小信，陰柔以售其奸，偽學偽才，揣摩以逢主意。從前夷務之興，穆彰阿傾排異己，深堪痛恨！如達洪阿、姚瑩之盡忠盡力，有礙於己，必欲陷之。耆英之無恥喪良，同惡相濟，盡力全之，似此之固寵竊位者，不可枚舉。”命將穆彰阿革職，永不敘用，耆英降為五品頂戴，以六部員外郎候補。如此，鹹豐帝既為乃父道光帝掩飾了其主和誤國、喪權辱國的罪責，又拿下了一名“終道光朝，恩眷不衰”的“三朝舊臣”。
六、“簡恕”為政勤奮著述
鹹豐元年（1851），魏源58歲，約年初赴高郵知州任。到任不久，即因前年興化防堤積勞而患下了黃疸病，目黃體脹，痰壅氣短，飲食很艱難，差一點病亡了。驚得下河一帶的父老鄉親“齋戒祈禳，香火千裏，籲嗟萬家”，雖然到秋天病愈了，但精神已不如前。
即使在養病期間，魏源仍非常關注下河的治理和西堤工程，為探求“以清送漕，不治下河，而下河自保之法”，他托包世臣的弟子吳廷颺（字熙載）帶信向包世臣請教。包世臣病中亦不顧“目苦手苦”，於閏八月初一日給魏源寫了一封近兩千字的回信。信中對魏源關心河事及在治河中不分畛域、出錢搶險之舉，深表讚許；對近兩年一再失去開溝清壩和補種蘆葦“以暢清刷黃”的機會感到遺憾，認為這是江南河道總督楊以增輕信廳員和受廳員愚弄的結果。他經過分析後提出：“今要行出清送漕、救下河之良策，若議加高墊石三四層，為費須數百萬，且年年修砌，勞費無已。不如即用去冬摟護之法，在墊眉海漫石上，用軟草墊底，其被掣之工，不必補砌，一律如法摟護……且補種葦柴，分殺風力，相機另辦，以節經費……如此則黃河日深，清水亦不必蓄高，漕行如飛，下河年年豐收，雖西堤塌壞，無礙也。”
魏源寫信谘詢之前，已得到包世臣於道光二十九年十月十三日所寫的《南河善後事宜說帖》原稿，其中所列八事，“惟新淤種葦，係屬因時製宜，餘俱申明舊例”。認為南運河西堤和下河一帶的治理，果能照《說帖》中的八條實行，“則虛工噬帑捏險冒銷之弊，不禁自除，而居上者亦可坐收高居遠視之效，不至如近事之心懸千裏，束手無措矣”。如今又得到包世臣回信，提出一套既節省經費又可“不治下河而下河自保”的辦法，魏源對於高郵地區的河道治理便更有把握了。
鹹豐二年，魏源又以高郵湖湖麵寬闊，救生船不易巡救，於是仿照高淳縣丹陽、固城兩湖的章程，在湖心挑築湖心島，島上種植榆柳樹木，以作為湖船避風靠岸停泊之用。他還領導人民疏浚了許多港口，以便船隻遇風時就近躲入口內。光緒《再續高郵州誌》卷七《善舉誌》稱這些港為“救生港”。
魏源在高郵，為政仍尚“簡恕”，以誠感人，不事苛察。然對人民訴訟，盡量從速處理，以不使因長期囚禁於獄而誤生業。他認為，囚犯“日羈月縶，即屈申枉直，家業已蕩盡矣，故結訟宜速”。他強調牢獄切不能虐待囚犯，認為囚犯一入監獄，“即無告之窮民，尤宜顧恤”，對囚犯“刑之以其罪，無所怨，虐之，則咎在官，於心安乎”？所以他所經曆的各州縣，“牢獄皆深簷敞牖，暖室涼棚，給衣施藥，囚逸且安，無殃折者”。他這種對囚犯的人道主義做法，也體現了他寬闊胸懷的仁愛之心和為政尚簡恕的原則。
為振興文教，魏源於鹹豐二年將高郵文遊台改建為文台書院，然後又在台前建置平台。當時州城奎星閣前有棵大槐樹，濃蔭蔽數畝，魏源認為高郵近年科第斷絕，都是這棵樹“陰翳絕景”的緣故，便馬上命人砍了那棵樹，“士聚嘩，已無及”。他認為，培養人才是守土者的責任，有些事情不能狃於習俗，害怕士人埋怨，“後必有易怨而為德者”。果然，那年秋闈鄉試榜出，高郵諸生中中式者八人，而且“至今甲科不絕”。他說：“若必議定而後伐，則無伐期矣，故甘一時之聒耳。”高郵州的諸生中式雖未必真與砍樹有關，但魏源之注重人才培養和辦事果敢卻由此可見一斑。
這一年，湖南郴州親家陳起詩之弟陳起書（字通甫，號鬆心）編成《撼山草堂遺稿》四冊，命其子陳秋垣持父手書及詩集來高郵就正。魏源“快讀數日”，並“錄其所愛者為一冊”，然後非常認真負責地給陳起書寫了一封信，談了自己對詩集編纂和集中詩作的意見。這封信是魏源對編詩、選詩和論詩的重要著作，在清代詩論史上有較大影響。
首先，他對詩集的編排提出“宜分體，不必編年”的意見：“竊謂詩集宜分體，不必編年，《三百篇》其大例也。況山林閑適，非如杜、韓、蘇諸公，出處關係史事，何必各體雜陳，徒迷讀者之目？”並認為陳起書的詩集中，精華全在五言古詩，故應選以冠首。
第二，魏源借評詩談了自己主真情、反摹擬的尊情觀。他說：“詩以言誌，取達性情為上，擬古太多，則蹈明七子習氣。古人如陶、阮、陳、杜，皆抒胸臆，獨有千古。太白、青田樂府，一時借古題以述時事；東坡和陶，借古韻以寄性情，字字皆自己之詩，與明七子優孟學語，有天淵之別。此詩家真偽關，不可濫借。”根據這一辨別詩家真偽的關鍵，魏源希望陳起書將詩集中的擬古、次古韻諸題刪去。
第三，魏源針對“集中詠懷詩多，山水詩少，離別詩多，關係詩少”的特點，分別談了自己對山水詩和時事詩的看法。他說：“蜀山之高，滄海之闊，以至桂林、陽朔，奇秀甲天下，一葉扁舟，溯洄其間，何患清妙之氣，不勃勃腕下？”這既是魏源大量山水詩創作的經驗之談，又進一步體現了他論詩的現實主義品格。魏源曆來反對形式主義，認為詩人如果脫離現實，雕琢剪裁，藻繪虛飾，以華詞相高，詩作便會缺乏詩情、缺乏生氣，實際上是空費心力。因此，要避免摹擬和形式主義的創作傾向，就必須投身到大自然和社會現實中去，在廣闊的現實領域中去吸取詩情。現實才是詩人取之不竭、用之不盡的詩的源泉。
魏源又說：“又如鄉俗之淳漓，年荒錢荒之得失，近來楚、粵兵事之瑣尾，作歌誌哀，以備采風，何患律詩不與杜陵媲美？”這是魏源批評陳起書麵對清王朝內憂外患、民不聊生的社會現實，卻很少去“作歌誌哀”，以談出自己對學杜問題的看法。魏源的政治時事詩繼承了杜甫、白居易的傳統，表現現實，幹預生活。他不僅以詩歌為武器來揭露英帝國主義的侵華罪行，抨擊清王朝的腐敗無能，揭露社會的黑暗，反映人民的苦難；同時還用詩歌來指陳時務，籌劃方略，呼喚改革。而陳起書的詩集“往往孤吟閑寄，自寫懷抱”，這當然與他的政治態度有關；但如果就學杜來說，根本原因恐怕還是沒有學到杜詩的現實主義品格。因此，魏源最後建議：“近年想有感時之作，無妨附入。”
魏源在《致陳鬆心信》中還提到，“弟近亦收拾文集，惜道遠不能就正”，可見他當時也在利用知州公餘之暇，整理自己的文集。據光緒《再續高郵州誌·魏源傳》載，魏源“著書十數種，發明群經，有《詩古微》、《書古微》、《公羊古微》等書，又纂《聖武記》、《海國圖誌》，皆專心經世大略，而於一州一邑若不屑屑為之者，然卒不至於病民”。後兩句似指魏源晚年患病後，已不若官興化時之孜孜勤政，加以終日整理舊稿，故“於一州一邑若不屑屑為之者”；但由於他“為政尚簡恕”，抓大放小，清明廉潔，故終不至於病民。
其實，魏源此時“於一州一邑若不屑屑為之者”，恐有一個更為重要的原因，那就是太平軍反清鬥爭的悄然興起。鴉片戰爭後，由於清政府對外妥協和對人民加重壓榨，社會矛盾進一步激化。廣東花縣洪秀全於道光二十三年（1843）創立拜上帝會，秘密進行反清革命活動。道光三十年十二月十日（1851年1月11日）在廣西桂平縣金田村起義，建號太平天國。八月攻克廣西永安州（今蒙山），初建軍政體製。次年自永安突圍，攻桂林不克，北進攻破全州，乘勝進於湖南，敗於蓑衣渡後，南向於鹹豐二年四月占領道州。太平軍在道州得到湖南會黨響應，增道州、江華、永明之眾約兩萬人。道州是好友何紹基的家鄉，此時何紹基正任四川學政，加之陳秋垣剛從湖南郴州來，太平軍的情況當更是話題之一。這一切都可能使魏源熟知“近來楚粵兵事”，更覺得好友陳世鎔前信“大劫將臨”的警語正在應驗，自己更應該抓緊時間完成已定的著述計劃。
於是，魏源於鹹豐二年致書寓居上海的龔自珍之子龔橙（字孝拱），請他到高郵州署來“佐撰諸書”。龔橙出身學問世家，祖父龔守正是乾嘉學術大師段玉裁的女婿。龔橙雖未能親炙於段玉裁，但卻曾受教於段氏弟子陳奐。其父龔自珍對龔橙的教誨更為直接，他的《己亥雜詩》中就有指導其長子龔橙治學的詩四首，其後三首雲：“雖然大器晚年成，卓犖全憑弱冠爭。多識前言畜其德，莫拋心力貿才名。”“儉腹高談我用憂，肯肩樸學勝封侯。五經爛熟家常飯，莫似而翁啜九流。”“圖籍移從肺腑家，而翁學本段金沙。丹黃字字皆珍重，為裹青氈載一車。”詩中龔自珍勉勵兒子多識前言畜德、努力肩負樸學及學本段氏、字字珍重的告誡，幾乎與當年段玉裁勉勵龔自珍的話相似。龔橙受這樣的家學熏陶，雖然在仕途上未能實現他父親的期望，但他在學術上畢竟打下了深厚的經學、小學功底。且如其摯友王韜所說，“於學無不窺，胸中淵博無際”，且“湛深經術而精於小學”。
魏源深知龔橙的學問功底，且二人早已伯侄相稱，關係非同一般。這正如龔橙與其好友趙烈文的信劄中所說：“橙與魏氏文字世交，有逾骨肉。”因此魏源“書招橙佐撰諸書”，龔橙便迅即趕到高郵州署，遵囑幫助完成了《蒙雅》一書的定稿。
《蒙雅》是魏源應書生讀典籍之需而纂輯的識字課本，分天、地、人、物、事和詁天、詁地、詁人、詁物、詁事等二十二篇，“悉取通行正字，仿《爾雅》而次之，作四字韻言；字既周備，類又明白，無古字書之病，止識常字”，是一本很便利識字的好書。
據《湖南通誌》，魏源還編有《說文儗雅》二十卷，並於鹹豐元年撰寫了《說文儗雅敘》。敘中說：“惟以誼分類，合《說文》、《爾雅》為一者，世間尚無成書，爰以治經之餘力為之，三月而告成。”可見《說文儗雅》是一部合《說文》《爾雅》為一的文字訓詁學工具書。它以天地人物事五大類括五百二十三部，而於各部之中有異於《爾雅》者，如《爾雅》有“釋親”無“釋人”，致使五官、四肢、五事、五倫、五性最廣之字，皆無類可歸而盡歸之於“釋詁”，使“釋詁”一門臃腫雜遝，不便稽檢。此書另立“釋人”，使分類優於《爾雅》。書首載有《轉注釋例》、《假借釋例》、《意聲事形釋例》三篇論文，對漢字六書造字作了較為精辟的闡述。此書今已失傳，僅存敘文和《說文轉注釋例》、《說文假借釋例》、《說文會意諧聲指事象形釋例》三篇論文。龔橙既“精於小學”，想必對《說文儗雅》一書也閱讀並提出過參考意見。
鹹豐二年，魏源還抓緊時間，或整理舊稿，或與人共撰，或擴充增補，完成了幾部著作。
一是將多年來治《尚書·禹貢篇》並與實地考察互證而撰成的《釋道山三條四列》、《釋道山北條陽列》、《釋道山北條陰列》、《釋道南條九江》、《釋雲夢》、《釋江源》及《通釋禹貢》等曆史地理學著作二十六篇，整理成《禹貢說》二卷。恰好友陳澧進京會試不第，返粵途中過高郵。魏源便欣喜地拿出《禹貢說》書稿說：“為我閱之，有誤者駁而正之，明年以歸我。”後因戰亂而無法按期歸還，此書稿便由陳澧珍藏十餘年，到同治六年才由友人方浚頤為之刻印。
二是同鄉好友鄒漢勳，也是這一年應禮部試後從北京南下高郵訪魏源的。此人精究天文、算學、音韻和輿地之學，於是二人互出所著相參訂。魏源還與鄒漢勳共撰《堯典釋天》一卷，並請鄒漢勳代繪《唐虞天象總圖》、《璿璣內外之圖》等。可惜太平軍占領南京後，這些在南京付印的《釋天》書板和圖板等皆毀於兵燹。其“天喪斯文之痛”，魏源在後來的《書古微例言下》中猶“泫然記之”。這次，鄒、魏二人還共同商訂了魏源所著的《遼史稿》。鄒漢勳在高郵州署寓居的幾個月中，太平軍已由圍攻長沙不下而轉攻嶽州和漢陽、漢口，於鹹豐二年底（1853年1月）克武昌，次月沿江東下，於鹹豐三年二月初十日攻克南京，定為都城，命名為天京。兩江總督陸建瀛在南京城破時被太平軍斬殺和江北郡縣紛紛告急的消息傳來，使魏源十分擔心自己心血凝聚的書稿，於是迅即將《遼史稿》及生平其他未刻稿托鄒漢勳帶走。鄒漢勳四月抵長沙，後隨安徽巡撫江忠源在廬州戰死。到同治二年，鄒家的藏書樓也焚於戰火，托人帶回的書稿都被燒毀了，因而魏源的這部《遼史稿》也就僅存書名了。
三是魏源對《海國圖誌》一書進行了最後一次修訂擴充，由道光二十七年的六十卷，增補為一百卷，並在付印前寫了一篇《海國圖誌後敘》，這就是後來通行的鹹豐二年（壬子，1852）邵陽魏氏古微堂重刊百卷定本。《後敘》在闡述自明萬曆以來“譚西洋輿地”的圖書及清朝譯本之“燦若星羅”之後，著重申述了自己為什麼要編纂《海國圖誌》一書的原因：“惟是諸誌多出洋商，或詳於島岸土產之繁，埠市貨船之數，天時寒暑之節，而各國沿革之始末，建置之永促，能以各國史書誌富媼山川縱橫九萬裏、上下數千年者，惜乎未之聞焉！”這既說明了《海國圖誌》與西洋人談世界地理圖書的區別，又突出了《海國圖誌》對各國沿革和政治製度乃至經濟、軍事、科技、宗教和民俗文化等各方麵深入考察和研究的學術性。豐富的世界各國曆史地理文獻資料，加上魏源對各國沿革、政體等方麵的深入考察和研究成果，再加上冠於全書之首的“議守”、“議戰”、“議款”綱領性文獻《籌海篇》，這就是《海國圖誌》有別於西洋各書的重要特點，也是作者“師夷長技以製夷”和“小用小效，大用大效，以震疊中國之聲靈者”的良苦用心和厚望所在。