宋哲宗紹聖元年（1094），蘇轍因上疏論政被貶知袁州，筠州居住。因其有政績，故當他被罷去之時，“父老送者皆嗚咽流涕，數十裏不絕。”（孫汝聽《蘇潁濱年表》）紹聖四年，三省又以蘇轍等“為臣不忠”“罰不稱愆（qiān，罪）”，於是再貶為化州別駕，雷州安置；元符元年（1098），又有詔移其於循州安置。蘇轍到循州，先寓居於城東之聖壽寺，後又盡囊中所有買下民居大小十間。院子的北牆下有空地可以種蔬菜，有井可以灌溉。蘇轍與其第三子蘇遜“荷鋤其間”。當地有官宦人家黃氏，蘇轍時至其家借書閱讀。元符三年（1100），哲宗死，徽宗即位，大赦天下，蘇轍被量移永州安置，後又授濠州團練副使，移居嶽州。不久，又授大中大夫，提舉鳳翔府上清宮。因其有田產在潁昌府（即今河南省許昌縣），於是就居住在這裏。就是說他並未到鳳翔府上任，隻是有此官職而已。按蘇轍自己的說法：“家本眉山，貧不能歸，遂築室於許（即穎昌）”（《潁濱遺老傳》）。
蘇轍築室於許，自號潁濱遺老，自作《潁濱遺老傳》萬餘言。徽宗建中靖國元年（1101），奸佞蔡京當政。降蘇轍為朝議大夫，罷去其提舉鳳翔府上清宮之職。此後蘇轍一直住在穎昌。大觀二年（1009），朝廷恢複了他朝議大夫之職，又遷中大夫。政和二年（1112）九月，又由中大夫轉為大中大夫，並於此時致仕。但一個月後，蘇轍即辭世了。
據《蘇潁濱年表》載：“穎昌當往來之衢（四通八達之處），轍杜門深居，以著書為樂，謝卻賓客，絕口不說時事，意有所感，一寓於詩，人莫能窺其際。”據《宋史·本傳》載：“（轍）築室於許，號潁濱遺老，自作傳萬餘言，不複與人相見，終日默坐，如是者幾（將近）十年。”蘇轍自己在《潁濱遺老傳》中也說：“凡居筠、雷、循（州）七年，居許六年，杜門複理舊學，於是《詩》《春秋傳》《老子解》《古史》四書皆成。嚐撫卷而歎，自謂得聖賢之遺意，繕書而藏之。”由此可見，蘇轍晚年，雖一直掛著不同的官銜，也移居多處，但其生活的常態則始終是“杜門深居”，“謝卻賓客，絕口不說時事”而“以著書為樂”。曆盡政治磨難之後，蘇轍似乎是有點大徹大悟了，遠離時事，遠離世人，幾乎是把自己封閉起來，一心讀書著書，恬靜淡泊，度過了他十幾年的晚年生活。
步入政壇，先因反對青苗法與王安石不合；元祐秉政，力斥章、蔡，不主調停；議回河、雇役之事，又與文彥博、司馬光等人異同；與西夏邊事之謀，又與呂大防、劉摯不合……這樣一位積極從政，直言極諫之人，為何一轉而為遠離時事，“不複與人相見”？原因大體有三：一是政治原因。北宋末年，黨爭劇烈，政局腐敗，奸佞當道，自己屢遭挫折，一貶再貶，使他對政治失去信心，失去熱情，轉而厭惡醜惡的官場，避之唯恐不及；二是思想原因：蘇轍雖一生以儒家思想為主，但晚年辭官家居，篤信佛、老，喜談性理，大有將道家的玄學，佛家的禪學和儒家的理學合而為一的趨勢。連南宋的朱熹都說：“（蘇轍）合吾儒於老子，猶以為未足，又並釋氏而彌縫之”（《雜學辨》）。三是性格原因。《宋史·本傳》稱其“性沉靜簡潔”“寡言鮮（少）欲”“不願人知之”。生性沉靜內斂，不願張揚。這也是他能恬靜淡泊，樂於生活在一人世界中的重要原因。