王閏之回答說："我的孩子有親娘疼愛，吃差一點，穿舊一點，他們不會說娘偏心；大姐死了，蘇邁沒有親娘疼愛，給他吃差了，穿舊了，他會更加痛苦。如果那樣我們就對不起死去的大姐。"
蘇軾聽了這話特別感動。所以，無論他如何思念王弗，卻從沒有減少一分對王閏之的疼愛。他在一篇文章中讚美王閏之說："婦職既修，母儀甚敦，三子如一，愛出於天。"
宋英宗治平二年(1065)，蘇軾出言反對王安石變法，王安石以"議論異己"罪，將蘇軾貶為杭州通判。就在這時，他認識了錢塘名妓王朝雲，並收為侍婢。王朝雲時年十二歲，聰明伶俐，能詩愛吟，很受蘇軾喜愛。在《東坡筆記》中寫道："東坡一日退堂，食罷，捫腹徐行，顧謂侍兒曰：'汝輩道我腹中何物？'一婢曰：'都是文章。'坡不以為然。又一人曰：'滿腹都是機械。'坡亦未以為當。至朝雲，乃曰：'學士一肚皮不合時宜。'坡捧腹大笑。"
朝雲一句話被蘇軾當做知音，從那以後無論他走到哪裏，就把朝雲帶到那裏。無論蘇東坡做官還是做囚犯充軍，朝雲也始終伴著蘇軾。
宋神宗熙寧六年(1073)，朝雲年滿二十，蘇軾正式納她為妾。妻子王閏之並不吃醋，蘇軾對妻子的寬容大量十分敬佩。他寫詩讚美王閏之說："子還可責同元亮，妻卻差賢勝敬通。"蘇軾向妻子解釋說："敬通是東漢學者，其妻妒甚，仆少此一事，故有勝敬通之句。"
元豐元年(1078)，蘇軾任徐州知州時，有感仕途艱辛，國內危機四伏，觸景生情，寫下思妻、憂國的《永遇樂》：
明月如霜，好風如水，清景無限。曲港跳魚，圓荷泄露，寂寞無人見。紞如三鼓，鏗然一葉，黯黯夢雲驚斷。夜茫茫，重尋無處，覺來小園行遍。天涯倦客，山中歸路，望斷故園心眼。燕子樓空，佳人何在，空鎖樓中燕。古今如夢，何曾夢覺，但有舊歡新怨。異時對，黃樓夜景，為餘浩歎。
這首愛情詞，被朝中異己當做"含沙射影攻擊君相"的證據，傳到皇帝那裏。元豐二年(1079)蘇軾調任浙江潮州知州，船行中途，大禍從天而降。江岸追來一群士兵，命令蘇軾停船靠岸。一太監領著士兵登上船來，太監高叫："犯官蘇軾接旨！"
蘇軾驚詫莫名，立刻上前跪地。
太監宣旨曰："犯官蘇軾，以詩諷刺朝廷，誹謗君相，立即緝拿回朝受審。欽此！"隨即他就叫士兵將蘇軾綁了，並進行搜船。
士兵們將蘇軾行李中的所有書籍和文字材料搜了出來，連同蘇軾押解回京。回京後蘇軾被關入禦史監獄。不久，蘇軾又被押往黃州，由黃州團練副史安置與管製。
蘇軾在黃州過流放生活時內心充滿了思家的痛苦。元豐四年(1081)蘇軾寫了一首《水龍吟》回複同朝為官的朋友章質夫的來信。以表他思念妻子之心。其詞曰：
似花還是非花，也無人惜從教墜。拋家傍路，思量卻是，無情有思。縈損腸柔，困酣嬌眼，欲開還閉。夢隨風萬裏，尋郎去處，又還被、鶯呼起。不恨此花飛盡，恨西園、落紅難綴。曉來雨過，遺蹤何在？一池萍碎。春色三分，二分塵土，一分流水。細看來，不是楊花點點，是離人淚。
蘇軾被貶黃州期間，妻子王閏之在家既怕丈夫難逃一死，又擔心全家難以生活下去。因此，她常責怪丈夫不聽她勸告，直言犯上；責怪丈夫不老老實實做官，熱衷於寫詩詞歌賦，從而惹禍上身。她在給蘇軾的信中寫道："......是好著書，書成何所得？而怖我如此！"
蘇軾入獄後，她一氣之下，將蘇軾過去所寫的文章、詩詞全部清理出來，付之一炬。從而使蘇軾早年的許多好作品失傳。蘇軾平反以後雖不便責怪妻子，但內心覺得他們缺乏共同興趣與愛好，從而在感情上產生出一些生疏。
宋神宗死，宋哲宗接位(1085)，哲宗派人查明蘇軾的"誹謗君相"案純屬朝中禦史李定、舒膽、何正言等人誣陷，蘇軾才被平反回京。
元祐二年(1087)蘇軾在宮中陪皇子讀書。
元祐四年(1089)，朝廷任命蘇軾擔任杭州知州。此間蘇軾在杭州浚西湖，修蘇公堤(杭州蘇堤就出至於此)，留下了千古政績。
元祐六年(1091)蘇軾回京任翰林學士，同年妻子王閏之病逝。從此蘇軾的生活就全靠王朝雲照顧。妻子剛死不久，蘇軾又遭賈易等人陷害，被徙放揚州，幸好有王朝雲陪同，蘇軾才能挺過來。
元祐七年(1092)朝廷再次為蘇軾平反。蘇軾回京後任兵部、禮部尚書。但是上任不久又因他在《禦史論》中評價前朝變法，宋哲宗斥責他"譏諷先朝"，將他貶至廣東惠州。蘇軾將兒女送回家鄉，解散奴婢，隻留王朝雲陪同他到惠州。到惠州時白露初下，秋葉凋零，蘇軾油然生悲，詠出《蝶戀花》，要求朝雲給他演唱。其詞曰：