除了每日抄錄《桃花庵歌》外，金老爺子最大的樂趣，便是在書房誦讀詩書，或在荷花池邊賞花養魚，再者就是含飴弄孫，日子過得逍遙快活，頗有幾分陶淵明采菊東籬下，悠然見南山的超然感覺，這讓老爺子十分高興，常說自己若早知做一個富貴閑翁這麼舒坦，該早些致仕才好。
卻不想家人卻不以為然，大兒子說，若是早會，隻怕就沒有今日的光景。
小兒子則說，今日因，明日果，沒有老爹你在朝廷的打拚，哪有蘇州第一家，總之一句話，老爺你不是回家晚了，而是你老就不該回家。
其餘子孫雖沒說什麼，但或多或少有些抱怨，這些抱怨從何而來，金老爺子是個明白人，哪能看不明白，他不在家的時候，金家不光光是一個財大氣粗的富貴之家，還是一個擁有二品官身的官宦之家，一個家若集聚了財、勢、地位，再橫行霸道點也沒人敢說什麼，可若天下三占其二，雖也算是大戶人家，可在氣勢上終究是弱了一等，這也是為何兒孫不滿的原因了，當然了自家人知道自家事，金家這些年仗著自己在朝中做官，子女不法、家仆驕橫、橫行鄉裏的事情可沒少做，尤其是兼並百姓之田，更是肆無忌憚。
雖說這事兒並不能怪家人，蘇州賦稅之重，天下第一，不要是平頭百姓吃不消，就是好一點的大戶也略感吃力，所以一些大戶，富戶、與金家沾親帶故的親朋好友便將田土托付到官紳名下便可以逃稅，有了官家這個保護傘，擁有土地之人，隻需以佃戶名義繳納地租若幹而已，總比賦稅輕，更別說攀上金家後，不用服徭役、不用交賦稅、不用應付官差了，起先家人倒也沒那麼大的膽子，金家雖說是詩書禮儀之家，但在金老爺子之前，不過小門小戶而已，直到金老爺子十年寒窗苦，一朝金榜題名，從七品的縣令，芝麻開花節節高，一路做到了同知、知府、侍郎、尚書，正二品的官兒，金家才開始發家致富，這些年來送土地、送店鋪，送房舍的絡繹不絕，金家本不過是殷實的小戶人家，靠著祖上勤懇，倒也留下了幾十畝上好良田和一樁一進一出的房舍，兩家綢緞鋪子，家業雖不算豐厚，但絕對算得上殷實，可自從他做官，披上了官家這張二品的官服，他家的田產、房舍、店鋪宛如決堤的太湖一般，洶湧而來，各種產業，各種田產，禮品都湧入了金家，短短幾年的功夫，金家就有了十幾萬畝的田產，除了蘇鬆一帶的兩幢三進三出的房舍外，就是蘇北一帶，不算這座田然風光的桃花庵外，就他知道的就還要三幢房舍，更別說其店鋪上百間，嫣然已是蘇州第一家了。按說金家已到了這地步，再多的田產，房舍、店鋪不過是錦上添花而已，作用不大，弄不好還是禍根，身為官員他自是知道，有了金家帶頭，其他大戶、富戶少不了有樣學樣，大肆兼並蘇州田產，如此以來，造成的後果，蘇州每年少幾萬畝家產都是小菜一碟，十萬畝也不是沒可能，而整個蘇州府一共才有將近六百萬的土地，一個金家十幾萬，二十幾萬，蘇州大戶、富戶、王侯公孫人數可不少，一旦都吞並，所占比例可不小，這樣的後果就是朝廷損失相當一部分的稅收和數十萬壯丁的徭役，蘇州知府能放過，朝廷能放過，雖說在大明百姓投獻是人人都知道的事情，可身份不同，做的規模就不同，木秀於林，風必摧之，似金家這樣大規模的接受投獻，隻會讓金家的田產、房產的數字變大，最終是把金家放在火爐上去烤。
事實證明，他的判斷是正確的，蘇州賦稅雖重，但洪武時土地兼並不慎嚴重，百姓尚且還能承擔的起，可到了永樂後期，似他這樣的官宦人家，外加宗室勳貴、縉紳地主仗著特權隱瞞田畝、偷稅漏稅”從中大肆漁利，百姓賦稅越來越重，朝廷賦稅卻年年虧空，一年兩年尚未可以看做是天災**，年年若此，朝廷就不能坐視不管。當今聖上勵精圖治，蘇州賦稅關乎大明江山安穩，豈能置之不理。
事實上從宣德三年，金老爺子就明銳的感覺到朝廷對蘇州動手的意思了，先是派遣況鍾坐鎮蘇州城，跟著以善於理財的周忱也派往江南整頓田賦，身為二品金老爺子，在官場摸爬打滾的大半輩子，若連這點都看不清楚，那豈不是老眼昏花。
在這之前，他讓人給家送了一封信，信裏裝了點土和銀，目的便是告訴家人，皇帝要對蘇州田產、賦稅動手了，好生收斂，以自家兒子的聰明，不會看不出自己的用意，事實上他猜得不錯，大兒子金環很快就察覺了他的用意，除了告知家人外，倒也給了他一封信，信上說都已安排妥當，為父不必擔憂，他雖然心有疑慮，但千裏之外，縱然有心也鞭長莫及。