玉川父子買園之後，少不得財主的心性與別個不同，定要更改一番，不必移梁換柱才與前麵不同，就像一幅好山水，隻消增上一草，減去一木，就不成個畫意了。經他一番做造，自然失去本來，指望點鐵成金，不想變金成鐵。走來的人都說：“這座園亭大而無當，倒不若那座書樓緊湊得好。怪不得他取少棄多，堅執不賣，原來有寸金丈鐵之分。”玉川父子聽了這些說話，就不覺懊悔起來。才知道做財主的，一著也放鬆不得，就央了原中過去攛掇，叫他寫張賣契並了過來。
虞素臣賣園之後，永不興工，自然沒有浪費。既不欠私債，又不少官錢，哪裏還肯賣產？就回複他道：“此房再去，叫我何處棲身？即使少吃無穿，也還要死守，何況支撐得去，叫他不要思量。”中人過來說了，玉川的兒子未免譏誚父親，說他：“終日料人，如今料不著了。”玉川道：“他強過生前，也強不過死後。如今已是半老之人，又無子嗣，少不得一口氣斷，連妻妾家人都要歸與別個，何況這幾間住房！到那時節，連人帶土一齊並他過來，不怕走上天去。”兒子聽了，道他“雖說得是，其如大限未終，等他不得，還是早些歸並的好”。
從此以後，時時刻刻把虞素臣放在心頭，不是咒他早死，就是望他速窮；到那沒穿少吃的時節，自然不能死守。準想人有善願，天不肯從，不但望他不窮，亦且咒他不死。過到後麵，倒越老越健起來。衣不愁穿，飯不少吃，沒有賣樓的機會。
玉川父子懊惱不過，又想個計較出來，倒去央了原中，逼他取贖。說：“一所花園，住不得兩家的宅眷，立在三與樓上，哪一間廳屋不在眼前？他看見我的家小，我不見他的婦人，這樣失誌的事沒入肯做。”虞素臣聽了這些話，知道退還是假，貪買是真，依舊照了前言斬釘截鐵地回複。
玉川父子氣不過，隻得把官勢壓他，寫了一張狀詞，當堂告退，指望通些賄賂，買囑了官府，替他歸並過來。誰想那位縣尊也曾做過貧士，被財主欺淩過的，說：“他是個窮人，如何取贖得起？分明是吞並之法。你做財主的便要為富不仁，我做官長的偏要為仁不富！”當堂辱罵一頓，扯碎狀子，趕了出來。
虞素臣有個結義的朋友，是遠方人氏，擁了巨萬家資，最喜輕財任俠。一日，偶來相訪，見他賣去園亭，甚為歎息。又聽得被人謀占，連這一線案巢也住不穩，將來必有盡棄之事，就要捐出重資替虞素臣取贖。當不得他為人狷介，莫說論千論百不肯累人，就送他一兩五錢，若是出之無名，他也決然推卻。
聽了朋友的話，反說他：“空有熱腸，所見不達。世間的產業，哪有千年不賣的？保得生前，也保不得身後。你如今替我不忿，損了重資，萬一贖將過來，住不上三年五載，一旦身亡，並無後嗣，連這一椽片瓦少不得歸與他人，你就肯仗義輕財，隻怕這般盛舉也行不得兩次。難道如今替人贖了，等到後麵又替鬼贖不成？”那位朋友見他回得決烈，也就不好相強，在他三與樓下宿了幾夜，就要告別而歸。臨行之際，對了虞素臣道：“我夜間睡在樓下，看見有個白老鼠走來走去，忽然鑽入地中，一定是財星出現。你這所房子千萬不可賣與人，或者住到後麵，倒得些橫財也未見得。”虞素臣聽了這句話，不過冷笑一聲，說一句“多謝”，就與他分手。古語道得好：“橫財不發命窮人。”隻有買屋的財主時常掘著銀藏，不曾見有賣產的人在自家土上拾到半個低錢。虞素臣是個達人，哪裏肯作癡想。所以聽他說話，不過冷笑一聲，決不去翻磚掘土。
唐玉川父子自從受了縣官的氣，悔恨之後，繼以羞慚，一發住不得手。隻望他早死一日，早做一日的孤魂，好看自家進屋。誰想財主料事件件料得著，隻有“生死”二字不肯由他做主。虞素臣不但不死，過到六十歲上，忽然老興發作，生個兒子出來。一時賀客紛紛，齊集在三與樓上，都說：“恢複之機，端在是矣。”玉川父子聽見，甚是仿惶。起先惟恐不得，如今反慮失之，哪裏焦躁得過！