結婚的第七年，鬱達夫拿出稿費和授課工資，在杭州修築他和王映霞的愛巢“風雨茅廬”。
這座中式花園別墅位於大學路場官弄63號，著名學者馬君武題匾，鬱達夫親自設計，正屋與後院以花飾磚牆相隔，後院建平房三間，作為書房和客房。離地半米，四周築有台階和回廊的一排三開間磚房，以及用影牆圓門隔開的另幾間書房，裏麵假山點綴，樹影斑駁。
這座別墅的獨特之處並不完全在建築，價值連城的藏書很多是孤本。中文典籍八九千冊，其中宋、元、明和清末的類書，以及清初的禁書，都是精本；線裝類書中，上至《太平禦覽》、《太平廣記》，下至《李氏五種》等，都是極為難得的珍本。而收藏的英、德、法、日文書，超過兩萬餘冊。英文書籍中，自喬叟至19世紀以後的有關文學類的初版著作，收藏了十之八九；德文書籍中，歌德以前的情歌作者的作品，也都搜齊；德國羅曼?羅蘭、紀德等人的全集，都有；俄國文學的新舊譯本，19世紀以來的基本齊全。
這早已不是一所磚木結構的房子，而是一個傾注了鬱達夫畢生心血和感情的家，這種心血滲透在建築的每一個角落。即便是隔著將近一個世紀的光陰，我以參觀者的身份站在風雨茅廬設計精巧的院落裏，望著石階上寂寥的落葉，都能確信當年鬱達夫深愛過王映霞——一個男人如果深愛你，一定想方設法給你一個力所能及的體麵的家。
遺憾的是，風雨茅廬並未能夠遮風擋雨。
這棟美麗的居所1936年春夏完工，1940年3月，兩人正式離婚。
愛情在的時候，愛你，愛我，那都不算愛。愛情走的時候，我很好，你也保重，那才是真的情分。
可是，才子鬱達夫對王映霞顯然沒有這樣的情分。
分居兩地時，傳出王映霞與時任浙江省教育廳廳長許紹棣的緋聞，清教徒性格的鬱達夫受了莫大刺激，他沒有給妻子辯駁的機會，將王許二人的“情書”批量影印，聲稱是“打官司的憑證”，甚至在漢口《大公報》第四版刊登了《啟事》：
“王映霞女士鑒：亂世男女離合，本屬尋常，汝與某君之關係，及搬去之細軟衣飾、現銀、款項、契據等，都不成問題，惟汝母及小孩等想念甚殷，乞告一地址。鬱達夫謹啟。”
這些情書到底是什麼呢？
五十多年後，王映霞在台灣見到陳立夫，意外解開了當年的緋聞疑雲。
當時，國民政府教育部部長陳立夫被叫到總裁辦公室，蔣介石拿出幾封信，說鬱達夫來告浙江省教育廳廳長許紹棣的狀，請教育部長查辦。
陳立夫當時就好奇了，“我覺得挺奇怪的，許紹棣是個挺一本正經的人嘛，他也會寫情書嗎？我就拆開來看了，一封一封看下來，都是談家常，也不是什麼情書一類的，那麼，後來我就把這一批信呢，還給了許紹棣，這個事情就是這樣處理了。”
引起了軒然大波的情書，不過是朋友圈裏的嘮叨和關注，連耳聰目明的教育部長都沒看出異樣，卻被才子作家鬧了個天翻地覆。
不可外揚的家醜被抖落成人盡皆知的焦點事件，雖然鬱達夫事後再次登報聲明是自己“精神失常”的誤會，但是，任何一個女子都不可能原諒這樣的懷疑和打擊，兩人的裂痕無法彌合。
再一次的風波發生在新加坡。
1939年鬱達夫擔任《星洲日報》副刊編輯，發表了一組名叫《毀家詩紀》的文字，19首詩與1首詞，表演欲嚴重的作家又一次展示了他和王映霞感情破裂，以及王映霞紅杏出牆的全過程。
甚至，這位中國第一個涉及“性”描寫的作家，寫了大量一般人難以啟齒的家事：比如，夫妻在金華重逢時，妻子以例假為由拒絕同房，沒兩天卻和許紹棣夜奔碧湖同居，等等。
這些文字，全部不求稿費隻為發表。
一個久已盛名的男作家，用這樣兩敗俱傷的方式展覽家事，果真值得？
王映霞在香港的《大風》旬刊上看到了這組文字，下定決心離開——她已經被毀得難以在原來的生活圈苟活。