被人戳著脊梁罵奸臣當然是一件很丟人的事，問題是這個時候，朝野的評價又出現了截然不同的分歧：元祐黨人被朝廷劃為另類、視為奸臣，但民間卻把他們看作是英雄，授予了他們另一種名譽——類似於“持不同政見者”的名譽。有一個小故事很能說明問題：據說在刻元祐黨人碑的時候，一位石匠辭職不幹了，他說：“我雖然沒有什麼文化，但我知道司馬光、蘇軾這樣的人都是好人，他們怎麼會是奸臣呢？這樣的碑，我不能刻。”
李清照當然也不相信自己的父親是奸臣，對她來說，夫妻兩地分居已經夠讓她痛苦，而最讓人痛苦的是：處理父親這個案子的恰恰是她的公公趙挺之。這一下就把這對恩愛的年輕夫妻推到了一個十分尷尬的境地：隻要一方的父親能保持名譽，另一方的父親就必然失去名譽。這樣的抉擇，對他們的婚姻也是一個巨大的考驗，眾目睽睽之下，別有用心的人似乎等著看他們的笑話。
李清照這個時候表現出了巾幗不讓須眉的氣概，她大膽地寫詩給公公趙挺之，要他以“人間父子情”為重，顧及兒子兒媳和親家的臉麵，不要做太讓人心寒的事。
一個剛過門的兒媳婦能夠以如此強硬的口氣上書公公，可見公公趙挺之以及他所在的新黨陣營在民間輿論的評價中是不太名譽的，誰忠誰奸，在老百姓心裏自有一杆秤。所幸的是，李清照與丈夫趙明誠站在了秤的同一邊。
接下來的政治充分顯示了它陰陽不定的險惡。迫於民間的壓力，宋徽宗宣布了對元祐黨人的大赦，解除了黨禁。而趙挺之卻遭到了打擊，辭職僅僅5天後就猝死離開了人世，而他死後3天，家產也被查封，親屬遭到拷問，兒子趙明誠也被罷免了官職。不僅如此，他在民間輿論中的評價更是名譽喪失，被看作是一個反複小人。李清照從一個“奸臣的女兒”又搖身一變成了一個“反複小人的兒媳”，人們在她背後的指指點點，都讓這位才女嚐盡了世態炎涼。
夫妻終於又團聚了。他們遠離是非中心的京城，返回了趙明誠的故鄉山東青州。他們將故居修葺一新，並根據陶淵明的《歸去來兮辭》，將房子取名為“歸來堂”。在這裏，他們度過了10年幸福的時光。
此時，趙家由顯貴變成了普通百姓家庭，而對於他們，卻是因禍得福。他們把全部的精力都投放在金石、字畫和古玩上。每次搜羅到一件古器或者是一本奇書，便共同勘校，把玩點評，每晚這樣的功課都以燒完一支蠟燭為標準。
很快，夫妻倆的收藏，超過了當時許多知名的收藏家。
他們還詩詞相和，“翻書賭茶”，互相考試互比文采。
李清照曾作《醉花陰》一詞，其中一句“人比黃花瘦”，讓趙明誠讚歎不已，卻又好勝不服輸。於是，趙公子閉門謝客，廢寢忘食三天，最後寫了整整五十首詞，與李清照的這一首混在一起，叫人來評鑒。結果，友人品味後說：“隻有三句最好。”問是哪三句，友人回答：“莫道不消魂，簾卷西風，人比黃花瘦。”趙明誠由此更加欽佩李清照的才學。
被人戳著脊梁罵奸臣當然是一件很丟人的事，問題是這個時候，朝野的評價又出現了截然不同的分歧：元祐黨人被朝廷劃為另類、視為奸臣，但民間卻把他們看作是英雄，授予了他們另一種名譽——類似於“持不同政見者”的名譽。有一個小故事很能說明問題：據說在刻元祐黨人碑的時候，一位石匠辭職不幹了，他說：“我雖然沒有什麼文化，但我知道司馬光、蘇軾這樣的人都是好人，他們怎麼會是奸臣呢？這樣的碑，我不能刻。”
李清照當然也不相信自己的父親是奸臣，對她來說，夫妻兩地分居已經夠讓她痛苦，而最讓人痛苦的是：處理父親這個案子的恰恰是她的公公趙挺之。這一下就把這對恩愛的年輕夫妻推到了一個十分尷尬的境地：隻要一方的父親能保持名譽，另一方的父親就必然失去名譽。這樣的抉擇，對他們的婚姻也是一個巨大的考驗，眾目睽睽之下，別有用心的人似乎等著看他們的笑話。
李清照這個時候表現出了巾幗不讓須眉的氣概，她大膽地寫詩給公公趙挺之，要他以“人間父子情”為重，顧及兒子兒媳和親家的臉麵，不要做太讓人心寒的事。
一個剛過門的兒媳婦能夠以如此強硬的口氣上書公公，可見公公趙挺之以及他所在的新黨陣營在民間輿論的評價中是不太名譽的，誰忠誰奸，在老百姓心裏自有一杆秤。所幸的是，李清照與丈夫趙明誠站在了秤的同一邊。
接下來的政治充分顯示了它陰陽不定的險惡。迫於民間的壓力，宋徽宗宣布了對元祐黨人的大赦，解除了黨禁。而趙挺之卻遭到了打擊，辭職僅僅5天後就猝死離開了人世，而他死後3天，家產也被查封，親屬遭到拷問，兒子趙明誠也被罷免了官職。不僅如此，他在民間輿論中的評價更是名譽喪失，被看作是一個反複小人。李清照從一個“奸臣的女兒”又搖身一變成了一個“反複小人的兒媳”，人們在她背後的指指點點，都讓這位才女嚐盡了世態炎涼。