蘇軾在惠州這塊荒蠻之地度過了四年，而他在詩中卻不時展現自己放達、瀟灑的人生態度：“日啖荔枝三百顆，不辭長作嶺南人”（《食荔枝二首》），“白頭蕭散滿霜風，小閣藤床寄病容。報道先生春睡美，道人輕打五更鍾。”（《縱筆》）當時的宰相章惇讀到這些詩，鼻子都氣歪了。他不願他的政敵過著如此安閑的日子，於是將蘇軾再貶為瓊州（今海南省）別駕。當時的瓊州，非人所居，曆來流放於此者，極少能夠生還。蘇軾也抱定必死之心，安頓好家室，與子孫江邊泣別，毅然前往。
蘇軾於紹聖四年（1097）七月到達瓊州，時年六十二歲。初到儋耳（今海南省儋縣），儋守張中讓他暫居官舍之中，聊避風雨；借一點官地耕種，聊以維持生計。但當權者仍不甘心，必欲置之死地而後快，結果是蘇軾被趕出了官所，張中也因此受到了降職處分。蘇軾被逼無奈，隻好在城南買地，築室，自己親自動手，又賴當地十幾個窮學生的幫助，終於修成草屋三間，草屋四周是桄榔（常綠喬木）樹林。蘇軾為新居題名為“桄榔庵”。他在《桄榔庵銘》中稱此地是“海氛瘴霧，吞吐呼吸。蝮蛇魑魅（chīmèi，傳說中的妖怪），出怒入娛”。不但自然環境惡劣，而且生活也極為困苦：“此間食無肉，病無藥，居無室，出無友，冬無炭，夏無寒泉。”（《答程天侔書》）這“六無”使我們不難想象蘇軾當時生活之艱苦。但這艱苦的生活並沒有使他頹喪，他“食芋飲水，著書以為樂。”更為可貴的是他沒有失去對生活的熱愛和對百姓生活的關心。
他還像做地方官一樣關心百姓疾苦，幫助他們發展生產，改善生活條件。他給知州王敏仲寫信，建議用竹筒引山澗之水解決城市引水問題；他又建議縣令充分利用溪水資源，用碓（duì，舂米之物）磨來舂米磨麵；他還積極推廣新式農具“秧馬”等。此外，他還幫助百姓破除迷信，向他們傳播文化知識，和當地百姓建立了真誠的友誼。
詩歌已成為蘇軾生活中不可或缺的重要組成部分。他不但用詩歌來表現自己的失意、孤獨、寂寞，而且為了排遣苦悶，他還把許多日常生活瑣事寫入詩中，如“旦起理發”，“午窗坐睡”，“夜臥濯足”等。更為令他欣慰的是，他再次發現了陶淵明、柳宗元詩歌的意義，將其“常置左右，目為二友”（《與程全父書》）。特別是對陶詩，體會尤深。他在《與子由六首》其五中說：“吾於淵明，豈獨好其詩也哉？如其為人，實有感焉。”他引陶淵明為知己，一遍又一遍地追和陶詩，共得一百零九首。佛、道思想和陶淵明的詩歌成為他在荒蠻之地心平氣和地生活數年的重要精神支柱。
當元符三年（1100）六月蘇軾遇赦北歸時，真可謂百感交集。他即將離開海南時，寫下《澄邁驛通潮閣二首》，其一雲：“倦容愁聞歸路遙，眼明飛閣俯長橋。貪看白鷺橫秋浦，不覺青林沒晚潮。”沒有感恩的言語，沒有激動的眼淚，也沒有歸心似箭的期盼，唯有看到的白鷺秋浦，青林晚潮。在其渡海之際，又寫下了《六月二十日夜渡海》一詩：“參橫鬥轉欲三更，苦雨終風也解晴。雲散月明誰點綴，天容海色為澄清。空餘魯叟乘桴意，粗識軒轅奏樂聲。九死南荒吾不恨，茲遊奇絕冠平生。”苦雨終風停止了，天容海色恢複了澄清的本來麵貌。該北歸了，九死一生的海南流放生活結束了。詩人把這不堪回首的生活經曆比作人生最為奇絕的遊曆，這是何等曠達的襟懷？又是何等難以言狀的牢騷！
北歸了，但何處是自己的歸宿？年近古稀的蘇軾的確無處可歸。幾經周折，才算在常州找到了落腳之地。但第二年，他即與世長辭。臨終前，他極富深意地自題畫像說：“心似已灰之木，身如不係之舟。問汝平生功業，黃州、惠州、儋州。”（《自題金山畫像》）這首頗富自嘲意味的詩，形象而生動地道出了他一生屢遭打擊，到處貶逐，而能四海為家，隨遇而安的人生態度，也寫出了自己身心交瘁的淒涼晚景。
蘇軾沒有成為宋仁宗所期望於他的北宋宰相，但一生的逆境磨難卻玉成了他在文學藝術領域的蓋世功業。