還在蘇軾赴定州之前，太皇太後高氏於元佑八年（1093）九月去世，十九歲的宋哲宗親自主持政事，熙寧、元豐時代的所謂新黨人物將要重新上台，朝廷上呈現出一派“國是將變”的氣氛。蘇軾在離京和到定州後，一再上書表示他“恐急進好利之臣，輒勸陛下輕有改變”的憂慮，要求哲宗堅守“安穩萬全之策”。（《朝辭赴定州論事狀》）但卻未能阻止政局的變動。
第二年正月，改年號為“紹聖”，意思是繼承神宗朝的施政方針。舊黨人物呂大防、範純仁罷職，新黨人物章惇、安燾等出任宰執大臣。他們拋棄了王安石新法的革新精神和具體政策，把打擊“元佑黨人”作為主要目標，當時在朝任職的高級官吏三十多人都被貶到嶺南等邊遠地區。
蘇軾兄弟也首當其衝。四月，還在章惇入相前夕，依附章惇的禦史虞策、殿中侍禦史來之邵沿襲“烏台詩案”時李定輩的故伎，指責蘇軾以前在起草製誥、詔令中“語涉譏訕”、“譏斥先朝”，加以彈劾。結果落兩職（取消端明殿學士、翰林侍讀學士的稱號）、追一官（取消定州知州之任），以“左朝奉郎”（文職的一種階官，正六品上）、知英州（治所在今廣東英德）；誥命剛下，虞策還認為“罪罰未當”，又降為“充左承議郎”（正六品下）。六月，蘇軾赴貶所途經安徽當塗時，又被貶為建昌軍（治所在今江西南城）司馬（屬官）、惠州（治所在今廣東惠陽東）安置。蘇軾隻好把家小安頓在陽羨（今江蘇宜興），獨自與幼子蘇過等南下。途經江西廬陵（今江西吉安），又改貶為寧遠軍（治所在今湖南寧遠）節度副使（地位比“司馬”低的屬官），仍惠州安置。三改謫命，足見政敵手段之狠，用心之毒。十月初，蘇軾抵達惠州。在惠州過了二年多謫居生活，他的大兒子蘇邁因授官韶州仁化（今廣東仁化）令，攜家眷來會。異地骨肉團聚使蘇軾得到一點安慰，卻不料又把他貶為瓊州（治所在今海南島瓊山縣）別駕（知州的佐官）、昌化軍（治所在今海南島儋縣）安置。紹聖四年（1097）四月，他隻好把家屬留在惠州，獨自與蘇過渡海。七月到達儋州（治所在今海南島儋縣）。在舊稱海角天涯的海南島一住又是三年。
惠州、儋州的貶謫生活是黃州生活的繼續，蘇軾的思想和創作也是黃州時期的繼續和發展。佛老思想又成為他思想的主導，而且比前有所滋長。他說：“吾生本無待，俯仰了此世。念念自成劫，塵塵各有際。下觀生物息，相吹等蚊蚋。”（《遷居》）佛教以世界成壞一次為“劫”，“念念成劫”，是說人世變化神速；道教以世界為“塵”，“塵塵有際”，是說處處有世界。“下觀”兩句是用《莊子·逍遙遊》的典故，說萬物的生存，與蚊蚋小蟲的呼吸無異。他這時酷愛陶淵明避世淡泊的一麵，對鼓吹清靜無為、養生長生的道家也表示出比前更大的興趣：“愧此稚川翁，千載與我俱。畫我與淵明，可作三士圖。”（《和陶〈讀山海經〉》）“東坡之師抱樸老，真契久已交前生。”（《遊羅浮山一首示兒子過》）他似乎想超塵出世，遠離人間了，但他並不真正相信虛無，皈依佛法。《廣州蒲澗寺》講安期生在白雲山以菖蒲為食，秦始皇派人向他求仙的故事：“昔日菖蒲方士宅，後來薝卜祖師禪。而今隻有花含笑，笑道秦皇欲學仙。”對秦始皇求仙的諷刺說明他骨子裏是入世的。對於佛教，他也說自己“難化”。他這時寫的《答參寥》中說自己隻是“麤為知‘道’者”，但“道心數起，數為世樂所移奪”，接著自嘲說，“恐是諸佛知其難化，故以萬裏之行相調伏耳”，但是即使遠謫萬裏也仍然“難化”。這都說明他對佛老思想的吸取是有一定限度的。
佛老思想對他的主要作用是作為在政治逆境中自我解脫的精神武器。在儋州寫的《觀棋》說：“勝固欣然，敗亦可喜。優哉遊哉，聊複爾耳。”勝和敗的差別，像其他事物間的差別一樣，是客觀的存在；但蘇軾的否定，卻使他在屢遭貶逐中保持樂觀不屈的精神，保持對生活、對風土人情等的熱愛。在他的書簡中，他說：“譬如原是惠州秀才，累舉不第，有何不可！”（《與程正輔提刑》）又說：
在貶地“隻似靈隱天竺和尚退院後，卻在一個小村院子，折足鐺中，罨糙米飯吃，便過一生也得”（《答參寥簡》）。把貶地或者當作出生的故鄉，或者看成名城顯邦的風景勝地。應該說明，佛老思想是蘇軾在當時條件下所能找到的唯一精神武器，這是時代、階級的局限。
貶謫生活又提供了他接近下層人物的機會。他初至儋州，租了幾間公房居住，卻被地方官趕了出來，隻得親自動手蓋了五間草屋，幫助他的是十幾個當地的窮學生；特別是他和黎族人民建立了深厚的友誼，彼此結為鄰友，甚至說：“鴂舌倘可學，化為黎母民。”（《和陶田舍始春懷古二首》之二）又如：
半醒半醉問諸黎，竹刺藤梢步步迷。
但尋牛矢覓歸路，家在牛欄西複西。
總角黎家三小童，口吹蔥葉送迎翁。
莫作天涯萬裏意，谿邊自有舞雩風。
——《被酒獨行，遍至子雲、威、徽、先覺四黎之舍三首》之一、二
真切、深刻的下層社會生活的體驗，也使蘇軾同情人民、關心國事的思想有所發展。他一如既往，關懷民瘼。廣州食用鹹水，常患疾疫，他給知州王敏仲寫信，建議從二十裏外的蒲澗山用竹筒引水來城；王敏仲采納後，他又細心地考慮到竹筒因路遠日久可能堵塞，再次寫信建議每支竹筒上鑽一小眼，“以驗通塞”。（《與王敏仲》）惠州博羅香積寺谿水湍急，他建議縣令作碓磨，用來磨麥舂米，後來也實現了：“霏霏落雪看收麵，隱隱疊鼓聞舂糠。”（《遊博羅香積寺》）他在惠州推廣過去在武昌見到過的新式農具“秧馬”，“今惠州民皆已施用，民甚便之”，避免了彎腰插秧之苦；又詳記其“範式、尺寸及乘馭之狀”，托便人到江浙一帶推行。（《題秧馬歌後》）他從密州任上開始研究醫藥，到這時更多方研製，以救死扶傷為己任：“疾苦者畀之藥，殞斃者納之竁，又率眾為二橋以濟病涉者，惠人愛敬之。”（《東坡先生墓誌銘》）元符三年（1100），他聽說黃河已複北流，想到熙寧年間他力主“疏”河而反對用單純堵塞的辦法，現在自己的主張得到證實，他寫詩說：“三策已應思賈讓，孤忠終未赦虞翻”（《庚辰歲人日作》），以東漢時治河名臣賈讓和三國時吳國正直的虞翻自況，盼望重新起用。正像他自己所說，“許國心猶在，康時術已虛”（《南康望湖亭》），他的“許國”、“匡時”的積極用世之心始終沒有泯滅。
綜其一生，儒家思想和佛老思想始終矛盾地並存在一起。它們是矛盾的，因為前者的主要精神是積極用世而後者卻是消極出世；它們在蘇軾身上又是統一的，因為他習慣於把政治思想和人生思想區別對待，因而大致以“外儒內道”的形式把兩者統一起來。
也就是說，當他出世從政時，特別在地方官任上，則主要信奉和推行儒家的政治思想（也時時有佛老思想冒頭）；當他貶官在野時，佛老思想成為他的主要思想傾向（儒家思想也並不泯滅）。“窮則獨善其身，達則兼善天下”，《孟子·盡心篇》中的這句話也可移來評論蘇軾的。
政治挫折和生活窘迫並沒有減弱他旺盛的創作力。今存這時期的詩近九卷，四百餘首，還有一些詞作和散文。蘇轍《子瞻和陶淵明詩集引》中說蘇軾在海南時，“日啖薯芋，而華屋玉食之念，不存於胸中”，但他“獨喜為詩，精深華妙，不見老人衰憊之氣”，說出了勤奮創作、老而彌篤的情況。下麵分四個方麵來介紹這一時期：
一、和黃州時期一樣，抒寫貶謫時期複雜矛盾的人生感慨，又成了他創作的主要內容。但和黃州時期相比，積極入世和消極出世的矛盾由勃鬱不平轉為委婉平和，感情的激波巨浪趨於漣漪微瀾。隻是平和中仍寓不平，漣漪下猶有激流，思想上的種種矛盾仍交織在一起。他不止一次地低吟“吾生如寄耳”的哀歌，但仍渴望同歸“中原”，對“中原北望無歸日”抒“悶”寄“愁”（《白鶴峰新居欲成，夜過西鄰翟秀才》），對“聖恩”也拳拳不忘：“莫嫌瓊雷隔雲海，聖恩尚許遙相望。”（《吾謫海南，子由雷州；被命即行，了不相知。……》）後來果然被召還時，他發自肺腑地寫道：
餘生欲老海南村，帝遣巫陽招我魂。
杳杳天低鶻沒處，青山一發是中原。
——《澄邁驛通潮閣》
望鳥北飛，漸飛漸遠，直至隱沒，反映出他熱望中原的激切。
他又常常抒寫謫居生活的艱辛和心情的悲苦。如《糴米》、《倦夜》、《縱筆三首》之三、《聞子由瘦》等。他愛寫出訪不遇的題材，以寄寓寂寞冷落的心緒。在過大庾嶺後寫的《峽山寺》詩中，寫“山僧”不在寺院：“山僧本幽獨，乞食況未還。雲碓水自舂，鬆門風為關。”惠州時寫的《殘臘獨出》，訪問棲禪寺，也不逢一僧：
“平湖春草合，步到棲禪寺。堂空不見人，老稚掩關睡。”儋耳時寫的《觀棋》，回憶往日遊廬山白鶴觀，觀中人閉門晝寢，獨聞棋聲：
“我時獨遊，不逢一士。誰歟棋者，戶外屨二。不聞人聲，時聞落子。”這裏沒有坐愁行歎之語，但平常習見的荒涼情景卻把遷謫時心情悲涼的一麵寫了出來。
然而，這時主要思想是隨遇而安，自適其適。如《縱筆》：