這是一次悲傷又無奈的分別，蘇軾卻表現得十分鎮靜，他努力寬慰兒子兒媳，不必為自己擔心，有蘇過在身邊，相信父子同心，一定可以挨過寂苦的歲月。
相伴蘇軾多年的朝雲，自打進入蘇家，便死心塌地把自己當成這個家庭中的一分子，富貴貧賤，不離不棄，在自家主人最危難的時刻，她依然要求陪伴蘇軾去那遙遠的嶺南，隨身照顧，這讓蘇軾大為感動。人在危難之中，更能體現心心相印的溫情。朝雲若一抹黑夜之中的光明，給他增加幾許信心，平添一些勇氣。
此前朝雲隻是一個家妓的身份，而現在，她儼然已成為這個家庭中不可分離的成員了。在蘇軾眼中，朝雲已不隻是個可以傾訴衷腸的紅顏知己，更是照顧他生活起居的妻子，隻是沒有所謂的名分而已。
大計已定，一家人再次分成兩路，蘇迨帶家眷去宜興，蘇軾與兒子蘇過、朝雲，還有三個女性老仆人，又向惠州行。
之前與長子蘇邁的分別，蘇軾頗有些傷感，而與蘇迨的分別，卻又讓他安心不少，家人不用再跟隨自己受苦，思想上沒了包袱，反倒覺得輕鬆。
身處苦難的環境，蘇軾豪氣不減，一路之上，凡遇壯麗的山河，美好的風景，仍忍不住作詩賦詞，絕不減當年氣概：
暴雨過雲聊一快，
未妨明月卻當空。
——《慈湖夾阻風五首》其四
身受殘酷的政治迫害，又處顛沛流離的旅途，他依然誌向不改，心向朝廷，骨子裏懷著對黎民百姓的深刻同情，報國的一腔熱血無法冷卻：
許國心猶在，康時術已虛。
——《望湖亭》
八月初，他所到的地方官府得知朝廷新頒的詔書，稱蘇軾是個罪官，不配享受這乘船的待遇，遂派了五百兵士，興師動眾地追趕上蘇軾，要將這艘官船收回。萬般無奈的蘇軾隻得放低了姿態，與那等趨炎附勢的將領商量，寬限他半天，隻待到得埠頭，他將自費租船，屆時便可將官船歸還。
待他雇了船，行至贛州時，又接到朝廷的新命，將他貶為寧遠軍節度副使，仍然惠州安置。這第五次的詔令，在他看來，不過是多此一舉，隻是又一次變相地迫害而已，他甚至懶得關心自己貶為何職了。
直到紹聖元年（1094）九月，一路曆盡艱難險阻的蘇軾，才到達大庾嶺。彼時，此嶺代表著一條重要的分界線：嶺內，意味著繁華熱鬧的世俗生活；而嶺外則是無盡的蠻荒之地，意味著無邊的落寞和苦難。
以宋朝的製度，向來不殺大臣，貶到嶺外算是最重的懲罰。而蘇軾，則是哲宗親政後第一個遭貶嶺外的官員。
蘇軾的內心，想必一路之上也常有波動，特別是登上大庾嶺的一刹那，他甚至有可能生出一絲緊張。置身於與世隔絕的境地，那豈非一種無形的枷鎖？從今與中原隔絕，隻能憑書信了解北方的消息。
但我們也有足夠的理由相信，他是一個擅長破解自己心魔的人物，因他是這樣的一個天才，又深諳佛教和道法，他一定不停地進行自我心理疏導，為將要遭受的苦難，尋找一條可能的出路。
他所作《過大庾嶺》，透露了全部的天機：
一念失垢汙，身心洞清淨。
浩然天地間，唯我獨也正。
今日嶺上行，身世永相忘。
仙人拊我頂，結發授長生。
他是一個徹底的儒士，使命感永遠在肩；他又是一個宗教思想的深刻體悟者，在他每一次精神危機出現時，宗教則成為他救治心靈的良方；而他個人的天賦當中，又有一種生而樂觀的因素，這使他較少煩惱。
因此，每每被困於心靈的迷霧，他總可以從中走出來，讓生命的意義不斷得以擴展。
到十月初二日，終於到達謫地惠州。不得不提的是他的小兒子蘇過，這個二十三歲的帥小夥，除一路上照顧父親的生活起居之外，還與父親作詩相和，詞句之中，才華初顯。這不但排解了老父的寂寞，更讓蘇軾生出對蘇家後人健康成長的無限快慰。