元豐二年（1079），蘇軾被舒亶、李定構陷，經曆“烏台詩案”洗禮之後，其佛老思想逐漸抬頭。“烏台詩案”是元豐二年發生的文字獄。元豐二年三月，蘇東坡由徐州調任湖州。他作《湖州謝上表》，其實隻是例行公事，略敘為臣過去無政績可言，再敘皇恩浩蕩，但他在文後又夾上幾句牢騷話：“陛下知其愚不適時，難以追陪新進；察其老不生事，或能牧養小民。”（蘇軾《湖州謝上表》）句中“其”為自稱，他以自己同“新進”相對，說自己不“生事”，就是暗示“新進”人物“生事”。古代文人因為客觀環境的關係，總是習慣於在遣詞造句上表現得十分微妙，而讀者也養成一種習慣，本能地尋求字裏行間的潛在含義。六月，監察禦史裏行何大正摘引“新進”、“生事”等語上奏，給蘇軾扣上“愚弄朝廷，妄自尊大”的帽子。明明是蘇軾在諷刺他們，而他們卻偷梁換柱，反說蘇軾愚弄朝廷。蘇軾於元豐二年七月二十八日被逮捕；八月十八日送進禦史台的監獄；二十日，被正式提訊；二十二日，禦史台審問他《八月十五日看潮》裏“東海若知明主意，應教斥鹵變桑田”兩句的用意。他拖到二十四日，才被逼按舒亶定的調子，說是“諷刺朝廷水利之難成”。至於《戲子由》詩違抗“朝廷新興律”的主旨，直到二十八日才作了交代；到九月份，禦史台已從四麵八方抄獲蘇軾寄贈他人的大量詩詞；十月十五日，禦史台申報蘇軾詩案的審理情況。有一百多首詩在審問時被呈閱，蘇軾對大部分指控都坦白承認在詩中批評新政。司馬光、範鎮、張方平、王詵、蘇轍、黃庭堅等39位大臣名士受到牽連，其中官位最高的是司馬光。李定、舒亶、王圭等欲置蘇軾於死地而後快。雖然“罪名成立”，但當時新法已廢，憑此罪名不能判重刑，況且太祖早有誓約，除叛逆謀反罪外，一概不殺大臣，令神宗一時舉棋不定。同時，正直人士如宰相吳充、已罷相退居金陵的王安石、身患重病的曹太後均仗義執言，積極相救。十一月二十九日，聖諭下發，蘇軾被貶為黃州團練副使，但不準擅離該地區，並無權簽署公文。蘇軾未判重罪，可以說與幕前幕後積極營救的人密切相關。
“烏台詩案”使蘇軾早年接受的老莊思想和後來習得的佛家思想有了發芽、生長的溫度和土壤，於是超然物外、清靜無為的思想逐漸代替了先前的儒家積極進取的思想。他在《初到黃州》言道：“自笑平生為口忙，老來事業轉荒唐”；在《雨晴後，步至四望亭下魚池上，遂自乾明寺前東岡上歸二首》中發出詢問：“鸛鶴來何處？號鳴滿夕陽”；在《六年正月二十日複出東門，仍用前韻》中坦言自己已經“五畝漸成終老計”；在《浣溪沙·徐門石潭謝雨，道上作五首》中言道“何時收拾耦耕身”。以上詩中的句子，無不是老莊清淨無為思想在作品中的映射。而佛老的清靜無為、安居樂命的思想在《前赤壁賦》中表現得最為集中、充分。既然“江上之清風”與“山間之明月”是造物主為我們安排的，那我們就共同享受這“清風”“明月”吧，這實際上是老莊思想的再現。
他被貶到嶺南惠州時，佛老思想的隨緣而遇、安居樂命表現得更為突出。蘇軾在《十二月初到惠州》中言道：“仿佛曾遊豈夢中，欣然雞犬識新豐。吏民驚怪坐何事？父老相攜迎此翁。蘇武豈知還漠北，管寧自欲老遼東。嶺南萬戶皆春色，會有幽人客寓公。”貶謫本是件痛苦的事，賢如韓愈，被謫潮州時，“常懼染蠻夷，失平生好樂”；達如柳宗元，被謫在柳州，頗不願久在這“異服殊音不可親”的偏遠之地。而蘇軾到了惠州時，見這裏風景幽美，加之“父老相攜迎此翁”和“嶺南萬戶皆春色”，他感到滿足了，欣然長歎“不辭長作嶺南人”。當然這時的作品中也有佛家因果報應思想的反映。公元1096年，他的愛妾王朝雲病亡，時年34歲。蘇軾不無悲傷，但佛老思想使他認為，王朝雲的死乃是人生最後的歸宿和人生苦難的解脫，是不可避免的。因而，他在《縱筆》中以“報道先生春睡美，道人輕打五更鍾”的態度超然麵對一切。正因為這首《縱筆》詩，蘇軾又遭到了宰相章惇的迫害，他又被貶到儋州。儋州，在當時是最邊遠、最荒涼的地區。宋代，除犯叛逆罪外，京官犯罪，隻是貶黜任地方官。罪大者，也隻是降級到“遠惡軍州”安置，“過嶺”（大庾嶺）、“過海”算是最重的處置。而詩人卻以“九死南荒吾不恨，茲遊奇絕冠平生”來對待這次貶逐。