廣州戰敗，道光火氣首先發到了林則徐與鄧廷楨身上，6月28日，道光下諭：“前任兩廣總督鄧廷楨，屢任多年，懈惰因循，不加整頓，所設排練，空費錢量，全無實用……前任兩廣總督林則徐，經朕特給欽差大臣關防，辦理廣東事件，繼複令其實授總督，全省軍務，皆其統轄。既知兵丁染習甚深，便應多方訓導，勤加練習，其於夷務也當德威並用，控駛得宜，乃辦理殊未妥協，深負責任。……著革去四品卿銜，均從重發往伊犁，效力贖罪。即由各該處起解。”（《籌辦夷務始末·道光朝》第二冊，中華書局1964年版，第1055－1056頁）從道光的文辭裏，我們能發現，道光對鄧廷楨的怨氣，僅是嫌他所設排練費錢無用。而對於林則徐，道光的著眼點仍在“釁起林則徐”之認識上，認為他沒有德威並用，控駛不得宜。
1841年7月14日，林則徐滿腔悲憤，從浙江鎮海起程，1841年8月，路過鎮江，與老友魏源相見。想起十年前在宣南詩會上的褒衣博帶雅歌投壺，再想想現在的夷務紛擾罪臣之身，當然是感慨唏噓，不能自已。這次相見最重要的果實就是林則徐把自己在廣州主持翻譯的《四洲誌》及有關材料交給魏源，讓他繼續編著。之後，林則徐繼續前往新疆，魏源回到揚州閉門謝客，發憤著書，編就了50卷本的《海國圖誌》，1843年初刊，1847年刊出60卷本，1851年刊出100卷本。按說，《海國圖誌》寫成後，最先反應的應該是林則徐，但奇怪的是，找不到這方麵的任何資料。不知是林則徐早已忘記此事，還是聽說後不予重視，甚或本有表示，但資料無從找到。
林則徐赴新疆的路上，拐了一個彎兒。黃河在開封祥符決口了，林則徐既有治河經驗，又寫過有關水利著作，當然是合適的人選了。於是，道光一紙詔書，把林則徐改發開封效力贖罪了。與此同時，皇帝著素來看重林則徐的大學士、軍機大臣王鼎前往祥符督辦河工。林則徐與王鼎合作愉快，林則徐甚至希望河工一完，自己告老還鄉養老去。而王鼎的意思，是希望借河工之事，按往常慣例，對林則徐論功行賞，不能重新起用，至少可以將功折罪吧。但是不愉快的消息從前線不斷地傳來，英軍擴大了戰事，閩、浙戰事失敗，林則徐的好友裕謙身亡，奕經的大反攻也宣告失敗，道光的怒氣仍然發在了林則徐身上，大堤勝利合口的同時，道光新的諭旨也下來了：著林則徐繼續前往新疆伊犁效力贖罪！
1842年12月10日，經過一年近四個月的奔波，林則徐終於到達了自己的充軍地：伊犁惠遠城。前來迎接他的是曾經的戰友、現在的難友、一同發往伊犁先他半年趕到的鄧廷楨和伊犁參讚慶辰。在兩人的陪同下，林則徐到伊犁將軍布彥泰處報了到，布彥泰給林則徐的差事是“掌糧餉處事”。但林則徐作為南人，不耐寒冷，竟致體弱多病，不能視事。在布彥泰的關照下，林則徐幹脆不視公事，專作休養了，和鄧廷楨等難友吟個詩作個賦下個棋，日子倒也過得不錯。
1843年8月1日，效力伊犁的鄧廷楨被道光皇上加恩釋放入關，這觸動了林則徐的思歸之情。他私下裏算計，鄧廷楨比自己提前半年到達充軍地，那麼自己的歸期當在明年春夏。伊犁將軍布彥泰等人更是力邀林則徐搬到鄧廷楨原先租住的寓所去，說：這三四年來，住此屋者，都被詔回了。林則徐遂搬住進去，但等來的不是加恩入關，而是令往南疆開荒去。能被皇上想起，並被起複使用，對林則徐來講，也算是一個驚喜了。那就開荒吧。就這樣一開兩年，1845年10月29日，道光皇上降旨，同意釋放林則徐，著回京以四、五品京堂候補。12月20日，興衝衝趕到玉門縣的林則徐再次接到道光諭旨，命令他不必來京，以三品頂戴先行署理陝甘總督。看來道光不想再看到他了。1846年8月，林則徐改任陝西巡撫。雖然仕路複興有望，但林則徐病體難支，一直想告老還家，還想去北京看病，但是皇上不準。1847年，道光又讓林則徐擔任雲貴總督，從陝西再跑到雲南，林則徐的身體折騰得夠嗆。1849年10，林則徐請病回家的請求被道光批準，1850年4月，林則徐終於回到了他夢中的故鄉——福州。
此時他的故鄉正在淪陷之中。南京條約第二款規定：“自今以後，大皇帝恩準英國人民帶同所屬家眷，寄居大清沿海之廣州、福州、廈門、寧波、上海等五處城邑，通商貿易無礙。”英國駐福州首任理事李太郭前來福州設立領事館，但認為城外房屋條件太差，提出去城內租住白塔寺。此時劉韻珂接任閩浙總督，福建布政使徐繼佘辦理夷務，兩人密商：和約內所謂的“城邑”係兼指城內城外，但我們不妨隻準其在城外開館。於是兩人暗中授意士紳聯名請願，拒絕英人入城內。