他內心，已經完全放下仕途，對做官，提不起哪怕一點點興趣了。
五十九歲的蘇軾，帶了家人，啟程前往遙遠的南方。誰知剛走不久，朝廷新命又至，將他降為左承議郎（正六品下），仍知英州。對蘇軾而言，這樣的詔命不過多此一舉，他早滅了做官的念想，又怎會在意級別的變化？
過湯陰時，蘇家一行人旅途疲勞，便在道邊的飯館裏歇腳，每人喝了一碗豌豆大麥粥，疲勞頓消，他便和幾個兒子嘮閑嗑兒。蘇軾提醒兒子，咱蘇家現在已經不如往昔，以後你們要做好過苦日子的準備，人須適應環境，不必貪戀富貴，若忘掉此前的錦衣玉食，今天的一碗豌豆粥則也算得上難得的享受。
又隔幾日，朝廷詔命再次追身而來，“合敘複日未得與敘複，仍知英州”。按照宋朝官製，官員任官至一定年限，如無重大過失，即可調級升官，是為敘。這詔命分明是要取消蘇軾升調之可能。
十餘日之內，三改謫命，一幫小人肆意作為，欲將蘇軾置於萬劫不複之境的險惡用心昭然若揭。
閏四月十四日，蘇軾到達滑州（今河南滑縣）境內，前路漫漫，天氣也有越來越熱之跡象，他已年老體弱，兩目昏花，再加上左臂腫痛的老毛病複發，若一路辛苦行走，極有可能死於道中，便向皇帝奏狀，請求賜船準他前往英州的貶所。
蘇軾特意自陳留（今開封市陳留鎮）繞道汝州（今河南汝州），看望此前已經被貶至此地的弟弟蘇轍。蘇氏二兄弟，在元祐時代同為朝廷重臣，但二人的財務狀況迥異，弟弟勤儉，積蓄不錯，哥哥向來不善理財，為人又十分大方，常資助後輩門生，所以，這一次貶謫，頓見財務之緊張。
蘇轍拿出七千銀兩，交給侄子蘇邁，計劃著到金陵後，由他帶領家眷中的一多半，住到宜興去，蘇家在那裏曾置辦過一些田地，可以憑此為生。如此這般，也能為蘇軾減掉些後顧之憂，而不用全家前往謫地，一起跟著受罪。
待蘇軾至陳留時，朝廷已準許他坐船，算是一個好消息。
在炎熱盛夏，有船可以乘坐，自然舒適不少，身體遭遇的折磨也小了許多。登舟而行，一路南下，沿途又多見親朋舊友。至韋城時，遇吳安詩的外甥歐陽思仲，先前任中書舍人的吳氏因撰蘇轍貶謫的告詞中有“文學風節，天下所聞”等褒獎之語，被攻擊而落職，蘇軾手書一幅書法托歐陽思仲轉送以表達敬意；過雍邱時，晤見在此地任縣令的米芾和老友馬夢得，米氏與蘇軾同樣才氣縱橫，多有交流，馬氏跟隨蘇軾三十餘年，可謂至友；至汴上時，與老友晁說之飲酒；至九江，又有杭州時的同事蘇堅來迎……蘇軾多年為官，貴為一代文宗，再加上其豪爽開朗的天性，贏得朋友無數，可謂交友天下。
行程雖也辛苦，好在有親朋老友相顧，自然比較順利。最令人感動的是門人張耒，蘇軾過揚州時，正在潤州任職的張氏因受官法約束，無法親自看望近在眼前的恩師，無奈之下，隻好精心挑選了兩個可靠的兵士王告和顧成，隨蘇軾南行，一路多加精心照顧，護送蘇軾直至惠州。
六月七日，泊船金陵，遵照王閏之夫人的遺言，施舍她所有曾佩戴過的金銀首飾，令三子畫阿彌陀佛像，並供奉於金陵清涼寺，做水陸道場，祈福全家。然後，長子蘇邁帶其家眷前往宜興，安頓生活。
蘇軾南行至安徽當塗，第四次接到朝廷降職的詔命：責授建昌軍司馬，惠州安置，不得簽署公事。之所以有這樣的任命，皆是因為章惇拜相，加大對元祐舊臣處置和迫害的力度，蘇軾亦無避免的可能。
於眼下的蘇軾而言，貶職的高與低，已經無所謂了。現在朝廷上下，一切聽任章惇等人擺布，他無法逃出這些人的掌心，英州或者惠州，都在嶺南之地，無論去到哪兒，實際情形並無二致。唯一讓他擔憂的，則是年輕的兒輩跟著自己一路顛簸，太過受罪，反倒不如他一人前往，領受這本屬於自己的貶官生活。
非但兒子們不同意他的主張，即使兒媳們也不肯讓年近六旬的老父親獨自一人去那陌生的荒涼之地，若任憑他的主意，一定是有去無回。全家人最後商量的結果，是蘇軾向兒子兒媳做出一定程度的妥協：他隻帶幼子蘇過一人同去謫地，蘇迨則帶領兩房家眷前往宜興，和長兄蘇邁一家團聚生活。