宋哲宗紹聖元年(1094),蘇轍因上疏論政被貶知袁州,筠州居住。因其有政績,故當他被罷去之時,“父老送者皆嗚咽流涕,數十裏不絕。”(孫汝聽《蘇潁濱年表》)紹聖四年,三省又以蘇轍等“為臣不忠”“罰不稱愆(qiān,罪)”,於是再貶為化州別駕,雷州安置;元符元年(1098),又有詔移其於循州安置。蘇轍到循州,先寓居於城東之聖壽寺,後又盡囊中所有買下民居大小十間。院子的北牆下有空地可以種蔬菜,有井可以灌溉。蘇轍與其第三子蘇遜“荷鋤其間”。當地有官宦人家黃氏,蘇轍時至其家借書閱讀。元符三年(1100),哲宗死,徽宗即位,大赦天下,蘇轍被量移永州安置,後又授濠州團練副使,移居嶽州。不久,又授大中大夫,提舉鳳翔府上清宮。因其有田產在潁昌府(即今河南省許昌縣),於是就居住在這裏。就是說他並未到鳳翔府上任,隻是有此官職而已。按蘇轍自己的說法:“家本眉山,貧不能歸,遂築室於許(即穎昌)”(《潁濱遺老傳》)。
蘇轍築室於許,自號潁濱遺老,自作《潁濱遺老傳》萬餘言。徽宗建中靖國元年(1101),奸佞蔡京當政。降蘇轍為朝議大夫,罷去其提舉鳳翔府上清宮之職。此後蘇轍一直住在穎昌。大觀二年(1009),朝廷恢複了他朝議大夫之職,又遷中大夫。政和二年(1112)九月,又由中大夫轉為大中大夫,並於此時致仕。但一個月後,蘇轍即辭世了。
據《蘇潁濱年表》載:“穎昌當往來之衢(四通八達之處),轍杜門深居,以著書為樂,謝卻賓客,絕口不說時事,意有所感,一寓於詩,人莫能窺其際。”據《宋史·本傳》載:“(轍)築室於許,號潁濱遺老,自作傳萬餘言,不複與人相見,終日默坐,如是者幾(將近)十年。”蘇轍自己在《潁濱遺老傳》中也說:“凡居筠、雷、循(州)七年,居許六年,杜門複理舊學,於是《詩》《春秋傳》《老子解》《古史》四書皆成。嚐撫卷而歎,自謂得聖賢之遺意,繕書而藏之。”由此可見,蘇轍晚年,雖一直掛著不同的官銜,也移居多處,但其生活的常態則始終是“杜門深居”,“謝卻賓客,絕口不說時事”而“以著書為樂”。曆盡政治磨難之後,蘇轍似乎是有點大徹大悟了,遠離時事,遠離世人,幾乎是把自己封閉起來,一心讀書著書,恬靜淡泊,度過了他十幾年的晚年生活。
步入政壇,先因反對青苗法與王安石不合;元祐秉政,力斥章、蔡,不主調停;議回河、雇役之事,又與文彥博、司馬光等人異同;與西夏邊事之謀,又與呂大防、劉摯不合……這樣一位積極從政,直言極諫之人,為何一轉而為遠離時事,“不複與人相見”?原因大體有三:一是政治原因。北宋末年,黨爭劇烈,政局腐敗,奸佞當道,自己屢遭挫折,一貶再貶,使他對政治失去信心,失去熱情,轉而厭惡醜惡的官場,避之唯恐不及;二是思想原因:蘇轍雖一生以儒家思想為主,但晚年辭官家居,篤信佛、老,喜談性理,大有將道家的玄學,佛家的禪學和儒家的理學合而為一的趨勢。連南宋的朱熹都說:“(蘇轍)合吾儒於老子,猶以為未足,又並釋氏而彌縫之”(《雜學辨》)。三是性格原因。《宋史·本傳》稱其“性沉靜簡潔”“寡言鮮(少)欲”“不願人知之”。生性沉靜內斂,不願張揚。這也是他能恬靜淡泊,樂於生活在一人世界中的重要原因。