王吉在知道夏夕顏打算離開臨邛縣的時候，就知道他糟了，然而卻沒有想到會遭的那麼快。
他管轄的臨邛縣內，不到一個月就搬離的三位大富豪，而其他小富豪也起了離開之一，讓臨邛縣的街市關閉了三分之一，市民的生活受到了很多的衝擊，以前熱鬧似省城的集市也平庸了下來，臨邛縣的小商販損失慘重。
他也極力挽留要跟著卓家離開臨邛縣的大小富翁，最後沒有留下不說，還被他們建議快點順從民意驅逐他的‘貴客’司馬相如出臨邛縣。
他冒著幾十萬貫的損失‘大義滅親’的對司馬相如下了驅逐令，和好友司馬相如鬧翻臉，以為這樣可以重新得回民意，卻是不想還是被人以治理臨邛縣不力，逼走臨邛縣富戶為由
告到監禦史，然後丟了縣令的官職。
“夫君，你糊塗啊！怎可如此資助拿司馬相如，得罪了卓家，失了民心還敗光了家裏這麼多年積攢的銀錢。”王吉的妻子吳氏看著丈夫被罷官，還損失了大半家產就有些生氣念了王吉一句，雖然有些怪罪，卻也隻是責怪的念叨一句，卻是被沒有開口問問王吉今後他們家這麼辦的時候，王吉卻是因為連日發生的事情而羞惱異常的嗬斥起妻子吳氏來。
“你這蠢婦，別對我做的事情指手畫腳，難道還想被我休回家不可！”王吉用慣常和吳氏說的威風話，讓吳氏想起前年，她就為摘取了鄰居家伸進他們家的棗樹枝上的幾棵棗子，就被王吉給趕回娘家要休棄的事情。
當初王吉就因她摘了伸到自家的幾棵棗，就小題大做要休他以展示他的‘為官清廉’，不管她嫁入王家辛苦操持家事，不說功勞也說苦勞，還不提他們多年的夫妻情分，說把她趕走就趕走，若不是鄰居知道後，嚇的都準備砍了自家的棗來勸王吉不要為這樣的小事情休棄她，王吉還堅持要休，最後是好幾個鄰居為她求情，她才免於被休棄的命運。
“夫君，就是如此把我呼來喝去！你敗光了家財幾十萬貫，還丟了官職，我不過是念叨一句，你就又想休棄我！夫君，是不是從一開始就看輕我，所以才會如此輕易的休棄我的話放在口邊，若是真的如此，我也不等夫君休棄，我自請下堂！”吳氏想到當年幾顆棗就要被休棄的事情，再次升起了心寒，同時想到這麼多年，因為王吉的官位，一直對她呼來喝去，而她因為家族隻是平頭百姓而不敢太過反抗的生活，突然之間有些不想再忍著過下去的說出‘自請下堂’的話。
“你這蠢婦，在說什麼？還不去做飯，如今家裏無奴仆伺候，你是想要餓死我嗎？”王吉在接連損失了銀錢和丟了官位，身價暴跌的時候，也就習慣性的隨口威脅威脅吳氏，刷刷他的威風，卻是沒有想到居然惹的一向對他又懼又怕的妻子提出了‘自請下堂’，這可不是現在無權無勢還無財的王吉真正想要的，現在休了吳氏，他可不似做縣令時那樣，可以再娶一個比吳氏更好的妻子。
這些關節王吉很清楚，所以在吳氏強硬的說話後，馬上轉移話題的讓吳氏去弄飯。
然而吳氏隱忍了這麼多年，今天被王吉再次提出‘休棄’的寒心事，那是那麼好就轉移的。而且王吉把她當奴仆一樣的嗬斥使用，吳氏想想就為自己的嫁人後的生活可悲。
“我是蠢婦，我配不上你王吉，也不配去給你做飯，我還是回我吳家，不礙你的眼，丟你的人了。”吳氏嘲諷的說完就轉身回臥室收拾行囊回了吳家。
王吉見吳氏背著包袱離開，先還沒有急，覺得最多回幾天吳氏就會又灰溜溜的回來繼續做他的妻子，卻是不知早被他寒了心的吳氏，在不懼怕不是縣令的王吉對她今後婚嫁的影響，一封和離書寄過去，沒多久就在家人的安排下，另外嫁了一個老實本分的人家。
王吉知道的時候，大罵了吳氏一通，卻是對已經和他沒有關係的吳氏無可奈何，一個人在無人打理，也無財打理的宅院中，開始典當東西過活。
***
王吉這邊丟了官職，被司馬相如騙走了家財，過起了典當東西落魄日子時，被臨邛縣全縣人趕出來的司馬相如帶著跟著他的卓文君過的更加落魄。
他名下的酒樓，被臨邛縣的百姓給砸了不說，他壓手裏的地契還來不及轉手獲得一些錢財就被臨邛縣人給姿勢難堪的趕出來，再也無法進入臨邛縣。
回歸到一窮二白的司馬相如看著身邊因為各種不孝的指責，而低頭垂淚的卓文君，心中厭惡非常，卻是還不得不繼續帶著她追著去到x縣定居的夏夕顏。
司馬相如現在也是騎虎難下，文人的好名聲因為算計夏夕顏不成反倒在臨邛縣丟的一幹二淨，沒有因為娶到卓文君獲得當初想要的一切，還必須繼續為了某些名聲而繼續和卓文君過下去。
因為現在司馬相如想馬上甩了卓文君，兩人各走各的是完全要坐實了他當初追求卓文君就是看她背後的卓家的財力，想吃軟飯的名聲，所以他不到萬不得已是不可能放棄卓文君。而且他現在的狀況，拋不拋棄卓文君都是一窮二白吃不飽飯的狀態，對於沒有找到比卓文君還要好的下家事，司馬相如也是不舍就這麼拋棄卓文君的，逼近他都已經付出了許多東西，卻一無所獲，司馬相如也有些不甘心，這種不甘心，會讓司馬相如發狠的一定要讓夏夕顏認下他和卓文君的事情。