鬱達夫的好友曹聚仁頗具犀利的眼光，看到問題的實質，他在《也談鬱達夫》一文中指出：鬱達夫身體一直不好，盡管激情澎湃，但玩的多半是精神體操，無法與美女打持久戰。打井人胃口小，怨不得井水要四溢了。曹聚仁說的沒錯，王映霞雖未做成“自由的女王”，但她逐漸成長為“剛強的女士”，身體強，個性強，欲望也強，鬱達夫一介書生，蒲柳弱質，隻能小範圍開發，要使之全麵開花，則力不從心。於是，他隻能眼睜睜地看著王映霞的靈與肉從他身旁剝離開去，漸行漸遠，終成路人。
二
錢王登假仍如在，伍相隨波不可尋。
平楚日和憎健翮，小山香滿蔽高岑。
墳壇冷落將軍嶽，梅鶴淒涼處士林。
何似舉家遊曠遠，風波浩蕩足行吟。
——魯迅：《阻鬱達夫移家杭州》
1930年後，鬱達夫過得非常不順，在家庭中他與王映霞口角不斷，在文壇上他也被一群左派小將利用得陀螺直轉，攻擊得體無完膚。他在1930年5月21日《致周作人》的信中感歎道：“滬上文學家，百鬼夜行，無惡不作，弟與魯迅，空被利用了一場，倒受了一層無形的損失。”當時有一位名叫史濟行的文學青年將鬱達夫的稿件偷去發表在《紅雜誌》、《玫瑰雜誌》等下三濫的刊物上，又盜用鬱達夫的名義四處借錢，弄得烏煙瘴氣。有一次，美國記者史沫萊特采訪鬱達夫，鬱達夫講了這樣一句話：“I am not a fighter，but only a writer.”（我不是一個戰士，隻是一個作家）。想不到，他的這句肺腑之言在當時的上海文壇引發軒然大波，惹得那些隻打算努力做戰士、不打算認真做作家的左氏少壯派勃然大怒，他們毫不留情，使出階級鬥爭的手段，一腳將這位“反動老朽”踢出“左聯”。
1933年，鬱達夫決意離開上海這片是非之地，搬到杭州居住。劉郎銳氣磨滅殆盡，他開始求田問舍，搬遷書籍三萬多冊，打算在西湖的清風朗月下終老此身。他拿出全部積蓄，另外還從一位富陽籍丁姓女弟子處籌得一筆款項，合計一萬五六千元，在杭州城東大學路場官弄購入一畝一分四厘地，建成風雨茅廬，請馬君武題寫匾額。
建造風雨茅廬前，鬱達夫請風水先生郭某履勘指點，改五間一字排開的平房為前三後三的兩進，以回廊相連。可惜建成之後，隻見女主人的笑容若隱若現，不見男主人的身影時進時出。在四十歲前兩天（1935年12月26日），鬱達夫寫了《和趙文龍》詩二首，第一首絕句是：“卜築東門事偶然，種瓜敢詠應龍篇？但求飯飽牛衣暖，苟活人間再十年。”末二句可謂詩讖，鬱達夫自此以往，果然隻活夠了十年。
在上海時，鬱達夫、王映霞交往的基本上都是文人、畫家、教授和學生，他們舉家遷至杭州後，則與杭州市長周象賢等官場人物交往甚密，鬱達夫來錢更容易了，名士派頭也更足了，牢騷大減，怨言大減，文氣也大減；王映霞則結交了一些官太太，受到她們的影響，開始看重物質享受，她認識許紹棣，接受其殷勤，更是埋下破家的伏筆。
多年後，孫百剛的表弟顧鑫重訪場官弄，尋覓風雨茅廬的舊影，發現它已被某派出所改為辦公地點，不禁感慨係之。他填了一闕《蘭陵王·訪風雨茅廬有感》，其下闕有句，“夤緣競逐豪華路，惜英才俊彥，蘭心蕙質，沉浮竟教宦海誤”，感歎的就是鬱達夫、王映霞遷杭後，向往榮華富貴，終於走向歧途和陌路。他的這一看法是很有見地的。
1936年2月上旬，元宵節前三天，鬱達夫離開杭州，前往福州，意在“遊五夷太姥，飽采南天景物”，還抱著熱切參政的念頭。鬱達夫早年考外交官被黜，一直耿耿於懷，走仕途乃是他的一個未了心願。經葛敬恩介紹，鬱達夫結識了福建省主席陳儀。陳儀急於找到一位特殊人才：他必須精通日語，有聲望有地位，足以應付蜂擁而至的日本政客、軍人、特務、浪人。鬱達夫再合適不過。鬱達夫名士習氣重，疏狂任性，不勝公務之煩，都沒關係，他的實職是公報室主任，月薪二百元，對外則宣稱是省參議，月薪三百元。王映霞一度想去福建陪伴鬱達夫，他生怕自己好不容易重新獲得的“單身漢”的自由生活遭到幹涉，或是別的什麼緣故，一再阻止王映霞成行，弄得她起了疑心。1936年3月7日，鬱達夫在日記中沒頭沒腦沒肝沒肺地寫下這樣一段話：“自前天到今天，為霞即欲來閩一信，平空損失五十多元。女子太能幹，有時也會成禍水。”1937年春，王映霞還是去了福州，夫妻感情稍有修複，就發生了震驚中外的“盧溝橋事變”，國難當頭，無數家庭隨之破碎，鬱達夫和王映霞的婚姻也未能幸免於難。
為逃避戰火，王映霞偕同老母親和三個兒子輾轉於富陽和麗水兩地，當時浙江省政府的民、財、建、教四廳都已搬到麗水縣城，條件比富陽要好許多，王映霞得財政廳長程遠帆的援助，住進省政府臨時宿舍。這樣一來，她自然就與住在樓上的教育廳長許紹棣朝夕相見。許有三個女兒，王有三個兒子，年齡相當，常常玩在一起。許紹棣年輕時留學日本，與鬱達夫既有鄉誼，也有交情，他為人風趣，生性溫和，頗能識情揣意，王映霞嚐夠了鬱達夫疏狂任性的苦滋味，更覺許紹棣是做夫君的上等材料。小孩玩成一堆，大人也粘在一處，一個是鰥夫，一個是怨婦，一個是官場幹員，一個是名士美眷，流言立刻插上翅膀，四處嗡鳴。
鬱達夫當初要死要活愛王映霞，隻迷戀美色，不顧忌厲害。他肯定讀過唐朝詩人孟郊的那首《偶作》：“利劍不可近，美人不可親。利劍近傷手，美人近傷身。道險不在遠，十步能摧輪。情愛不在多，一夕能傷神。”但他萬萬想不到有朝一日他會戴上綠頭巾，當麵罵王映霞是淫婦。自釀苦酒，自食苦果，他實在怨不得別人。
當初，魯迅並不讚成鬱達夫移家杭州，所以寫了上麵那首詩送給王映霞。鬱達夫後來在《憶魯迅》一文中寫道：“我因不聽他的忠告，終於搬到杭州去了，結果竟是不出他所料，被一位黨部的先生弄得家破人亡。”與其說魯迅有先見之明，還不如說鬱達夫在感情方麵逆水行舟，卻不思進取，遲早會要出事，無論他移家杭州，還是移家別處，結果都一樣。
三
寒風陣陣雨瀟瀟，千裏行人去路遙。
不是有家歸未得，鳴鳩已占鳳凰巢。
——福州天王廟中的簽詩
1937年底，戰禍孔亟，生命惟危，許多人愈加迷信神佛的開示，鬱達夫在福州天王廟抽得這樣一支下下簽（簽詩應該是經過了鬱達夫的潤色，或是再創作，否則不可能用典如此貼切，也不可能被鬱達夫收入《毀家詩紀》），他該是何等感慨而又感憤！他本就是自卑的，不放心王映霞與外界多接觸，害怕她接觸之後，就會看輕他頭上僅有的那兩道“才子”、“文學家”的光環，而她的勢利眼和虛榮心將全麵占據上風。然而，在戰爭年代，流離顛沛無可避免，在杭州雖有風雨茅廬，王映霞卻無法安身，她被迫單獨接觸社會，接觸許紹棣，她此時此際的心思已然不是鬱達夫的雙手可以遮捂得了。鬱達夫讀完簽詩，那句“鳴鳩已占鳳凰巢”太刺眼了，不由得心煩意亂。他風聞一些流言，說是許紹棣“新借得一位漂亮夫人”，女方會是誰呢？會不會是王映霞？他簡直不敢想下去。
事情很快就穿了幫，鬱達夫回到麗水，在家中發現許紹棣的信件，終於忍不住大發雷霆。他的精神受到強刺激，已無理性可言，王映霞既然紅杏出牆，該吵架就吵架，該離婚就離婚，又何必將家醜暴露無遺？“縱齊傾錢塘湖水，奇羞難洗”，太誇張了。當年他追求王映霞時，妻子孫荃正呻吟於產褥之上，他又何嚐設想過孫荃的精神苦況？這就是他自私的地方，不公平的地方，隻準許自己自由尋找愛情，不準許王映霞也去自由尋找愛情，隻許自己動別人的奶酪，不許別人碰自己的奶酪，在鬱達夫則是浪漫，在王映霞則是浪蕩，完全是雙重標準，雙重評價。他在《賀新郎》一詞的注釋中說：“許君究竟是我的朋友，他奸淫了我的妻子，自然比敵寇來奸淫要強得多，並且大難當前，這些個人小事，亦隻能暫時擱起，要緊的，還是為我們的民族複仇！”這簡直就是荒腔野板的胡謅，且不說許紹棣對王映霞並非“奸淫”，家醜與國仇也根本扯不到一塊兒，女人紅杏出牆的事何日無之，何年無之？並非隻有抗戰時期才有這種“醜聞”發生，將二者強相牽扯實為荒謬。此外，他還將王映霞委身許紹棣歸咎於她貪慕富貴，更失公允。他說：“映霞最佩服居官的人，他的傾倒於許君，也因為他是現任浙江教育最高行政長官之故。”這一推論未免失之簡單，王映霞真要是貪慕富貴，當初她怎麼可能看中鬱達夫這樣病病歪歪的文人？她資本最雄厚的時候尚且不貪慕富貴，豈有資本消蝕將空時再去貪慕富貴的道理？何況鬱達夫此時也在官場打拚，也有個省參政的榮銜，已不是純粹的文人。他還說：“姬企慕官職，以廳長為最大榮名，對人自稱為廳長夫人，予以取樂。”這就是把玩笑當真，既缺乏幽默感，又顯得雞腸鴨肚。王映霞曾在1938年10月18日致鬱達夫的書信中表明她的願望——“作一個很賢惠、很能幹的大家庭中的媳婦，讓翁姑喜歡，（在）丈夫寵愛的和平空氣中以終其身”，你可以譏笑她胸無大誌，但你絕對不能唾罵她俗不可耐。鬱達夫愛之欲其生，惡之欲其死，昔年讚之為天仙，今朝貶之為俗婦，處處走極端，我們該相信他哪一句？
1938年，鬱達夫自暴家醜，許紹棣深知人言可畏，還哪敢頂風作案，謀娶王映霞為妻？他終究還是有些本事的，並非完全為了遮人耳目，他娶了徐悲鴻的情人孫多慈為妻，徹底從這樁醜聞中拔身而出，洗刷得一幹二淨。他隻是玩一回心跳，枕邊的誓言到底靠不住，苦了的隻有王映霞，他與許紹棣揮淚而別，還得跟著鬱達夫踏上顛沛之途，前往武漢。鬱達夫感到極為恥辱，心氣總不能平，就這樣，他與王映霞的爭吵再次升級，王映霞一氣之下離家出走，住到朋友曹律師夫婦家。鬱達夫慌了神，以往都是他玩出走遊戲，這回卻更換了主角，他又氣又惱，喪失了殘餘的那點理智，竟然老虎吃砒霜，自己害自己，去《大公報》上刊登侮辱性質的《啟事》，向外界暴露家庭生活的負麵：
王映霞女士鑒：
亂世男女離合，本屬尋常。汝與某君之關係，及搬去之細軟、衣飾、現銀、款項、契據等，都不成問題，惟汝母及小孩等想念甚殷，乞告以住址。
鬱達夫啟
鬱達夫精神狂躁，他一不做，二不休，又影印了許紹棣的三封“情書”，聲稱這是“打官司的憑證”，還請郭沫若等人前來勘察“現場”，要他們看一看王映霞“卷逃”後的痕跡，甚至致電浙江軍政府，籲請查找王映霞的下落。一時間，輿論嘩然，流言四起。鬱達夫從曹律師那兒得知王映霞的行止後，又急不可待地接她回家，王映霞自然不依。結果是，鬱達夫乖乖認錯，同意在《大公報》上再登一則《道歉啟事》，稿子是王映霞起草的：
達夫前以精神失常，語言不合，致逼走妻映霞女士，並登報招尋。啟事中曾誤指女士與某君的關係及攜去細軟等事，事後尋思，複經朋友解說，始知全出於誤會。茲特登報聲明，並致歉意。
此致
映霞女士
鬱達夫啟
這簡直就是“此地無銀三百兩”。鬱達夫弄得王映霞十分難堪，自己也沒討到一個好，最終兩敗俱傷。事後，他們又重新訂下了“讓過去埋入墳墓，從今後各自改過，各自奮發，更重來一次靈魂與靈魂的新婚”的誓約。郭沫若居中調解，亦認定錯在鬱達夫，這場風波純粹是他的自卑心理暗中作祟所致。