一天，王安石派謝景溫把蘇軾請來，要與他麵對麵地做一次“深談”。王安石怒責蘇軾說：“你站在司馬光一邊，排斥新法，是何居心？”蘇軾一聽，火往上冒，反問道：“你這話從何說起？”王安石說：“仁宗在時，你主張改革時弊，反對因循守舊，是何等堅決，現在我行新法，你為什麼要夥同司馬光來反對我？”蘇軾怒道：“你口口聲聲說我同司馬光站在一起，可知我反對司馬光的泥古不化？你不審時度勢，反倒急功近利，貿然推行新法，必遭天下人之拒。”就這樣，兩人的談話破裂了。
不久，王安石新黨中的重要成員謝景溫上書誣告蘇軾，說他扶喪返川時，利用官船販運私鹽。後雖經查無此事，但蘇軾已厭惡了朝廷的黨爭，想到外地去任地方官。這時，新黨正想排斥異己就把他貶到了杭州，任杭州通判。
蘇軾在杭州、徐州輾轉數年，興水利，救水災，為民做了許多好事。元豐二年（1079年），蘇軾又從徐州遷到湖州。這時，朝廷裏的鬥爭也很激烈。王安石提拔起來的一夥人，勾心鬥角，相互傾軋。熙寧八年二月，王安石被神宗複用，任他為宰相，呂惠卿多年的蓄謀化為泡影，為了當宰相，呂惠卿竟把他和王安石的私人信件交給了神宗。呂惠卿本是靠攀附王安石才當上副宰相的，因而，兩人的來往信件很多，在王安石寫給呂惠卿的信件中，有的用了“無使上知”的字樣，神宗一見，覺得王安石在搞陰謀詭計，十分惱怒，就罷了他的宰相職務，命其永遠不得返朝。這樣一來，過去曾經支持過王安石變法的“新進勇銳”之人呂惠卿、李定、舒等人就獨霸了朝權。
蘇軾到達湖州，按慣例要寫謝表，他想起朝廷上發生的這些事，不禁氣憤，他在表中不由地寫道：“知其愚不適時，難以追陪新進；察其老不生事，或能牧養小民。”李定接到這份謝表一看，不由大喜，覺得陷害蘇軾的時機到來了，立即串聯了舒等人，準備“劾奏”蘇軾。
但是，蘇軾文名布於天下，朝廷上也有一些元老重臣保護，更兼皇後對他很有好感，要想參倒蘇軾，也不是很容易的事，但李定、舒等人唯恐蘇軾東山再起，將來難以處治，必欲置蘇軾於死地而後快。第二天早上，李定就把謝表交給了神宗，進行彈劾。
結果彈劾成功，神宗下令把蘇軾拿問。
這就是中國曆史上著名的文字獄——“烏台詩案”。蘇軾被釋放出獄後，元豐三年(1081年)二月，被貶為黃州團練副使。之後，連升幾次官，升為中書舍人，翰林學士製法、侍讀等職。之後，又由於政見不同和敢於直言等原因，在紹聖四年（1097年）四月十七日，朝廷下令貶蘇軾為瓊州別駕，昌化軍安置，不得簽署公事。
一天，王安石派謝景溫把蘇軾請來，要與他麵對麵地做一次“深談”。王安石怒責蘇軾說：“你站在司馬光一邊，排斥新法，是何居心？”蘇軾一聽，火往上冒，反問道：“你這話從何說起？”王安石說：“仁宗在時，你主張改革時弊，反對因循守舊，是何等堅決，現在我行新法，你為什麼要夥同司馬光來反對我？”蘇軾怒道：“你口口聲聲說我同司馬光站在一起，可知我反對司馬光的泥古不化？你不審時度勢，反倒急功近利，貿然推行新法，必遭天下人之拒。”就這樣，兩人的談話破裂了。