1933年4月25日，鬱達夫舉家從上海遷回杭州，開始建造自己的住宅，直到第二年竣工。這座房子幾乎花盡了他們全部的積蓄，鬱達夫給新家起名為風雨茅廬，由他自己設計，希望這裏能夠成為趨避亂世的桃源之所。彼時，作為風雨茅廬的女主人，王映霞憑借自己的美貌和優雅談吐成為杭州上流社交圈裏明星般的人物，所以，鬱達夫意想中的“世外桃源”很快就變成了社會名流與政界要員交際往來的場所。
如甕之紋，鬱達夫和王映霞的情感世界出現了無可彌補的裂痕。從鬱達夫的角度來說，安靜寫作是一個作家的基本固守，而推杯換盞的交際場隻會讓他心躁不安無所適從，逃離才是惟一的選擇。搬進“風雨茅廬”後不久，鬱達夫應福建省主席陳儀之邀，南下任省政府參議去了。
其間，王映霞通過鬱達夫的關係結識許紹棣，多有來往，引來一些議論。
1938年7月，鬱達夫從浙東前線返回武漢，汪靜之前去探望卻碰上王映霞與鬱達夫因小事正吵得不可開交。當天晚上，王映霞離家出走。王映霞出走之後，鬱達夫找不到她，便回到家裏喝酒消氣。無意之中，鬱達夫發現了許紹棣寫來的三封信，便誤以為是許寫給王映霞的情書，立即氣急敗壞地在王映霞的一件旗袍上寫下“下堂妾王映霞改嫁之遺物。”幾個大字。
從鬱達夫的性格看，他明顯帶有頹廢文人的氣質，其處世為人，也頗有歇斯底裏的傾向。這一點，在他處理與王映霞的婚姻關係中表露無遺。在鬱達夫的作品中，其《毀家詩紀》一度萬人爭誦，主要原因是鬱達夫在這些詩作中毫不保留地暴露了自己的私隱與“家醜”，包括他對王映霞“紅杏出牆”的懷恨之意，而《毀家詩紀》一麵世，更加深了王映霞的離意，兩人長達12年的婚姻至此已到了無可挽回的地步。
也許失去了才知道可貴，王映霞走後，鬱達夫非常懊悔，曾在詩中寫道：
縱無七子為哀死，
猶有三春各戀輝。
愁聽燈前談笑語，
阿娘真個幾時歸？
幾時歸，永遠不歸了！
1940年8月，王映霞離開新加坡隻身返國。隨後，鬱達夫和王映霞分別在新加坡、中國香港和重慶三地刊出離婚啟事，這場富春江上的才子佳人戀終以勞燕分飛而告結束。
1999年2月6日，王映霞在上海去世。終年92歲。
名人故事
鬱達夫與北大
鬱達夫1923年9月（一說10月）到北大任教是陳豹隱（啟修）推薦的。陳畢業於日本東京帝國大學，1919年受蔡元培之聘到北京大學法商學院任教授，講授財政學和統計學。“五四”運動後在北大開設馬克思主義經濟學概論，並在馬克思學說研究會《資本論》研究組擔任導師。
1923年，陳豹隱受北京大學派遣到歐洲視察和講學。推薦鬱達夫的原因，或許同鬱的學曆有關。鬱達夫1919年11月入日本東京帝國大學經濟學部經濟學科學習，1922年3月畢業，獲經濟學學士學位，和陳是前後同學。進入經濟學部時，鬱曾賦《新秋偶感》七律一首：“客裏蒼茫又值秋，高歌彈鋏我無憂。百年事業歸經濟，一夜西風夢石頭。諸葛居常懷管樂，謝安才豈亞伊周。不鳴大鳥知何待，待溯天河萬裏舟。”畢業論文的題目曾計劃寫《中國經濟史》或《中國外交史》，還打算寫《中國貨幣史》。可見對於經濟也有過一番抱負。應該說，鬱達夫這樣的經濟學科班出身的留學生，勝任北大經濟係課程是沒有問題的。