除了每日抄录《桃花庵歌》外，金老爷子最大的乐趣，便是在书房诵读诗书，或在荷花池边赏花养鱼，再者就是含饴弄孙，日子过得逍遥快活，颇有几分陶渊明采菊东篱下，悠然见南山的超然感觉，这让老爷子十分高兴，常说自己若早知做一个富贵闲翁这么舒坦，该早些致仕才好。
却不想家人却不以为然，大儿子说，若是早会，只怕就没有今日的光景。
小儿子则说，今日因，明日果，没有老爹你在朝廷的打拼，哪有苏州第一家，总之一句话，老爷你不是回家晚了，而是你老就不该回家。
其余子孙虽没说什么，但或多或少有些抱怨，这些抱怨从何而来，金老爷子是个明白人，哪能看不明白，他不在家的时候，金家不光光是一个财大气粗的富贵之家，还是一个拥有二品官身的官宦之家，一个家若集聚了财、势、地位，再横行霸道点也没人敢说什么，可若天下三占其二，虽也算是大户人家，可在气势上终究是弱了一等，这也是为何儿孙不满的原因了，当然了自家人知道自家事，金家这些年仗着自己在朝中做官，子女不法、家仆骄横、横行乡里的事情可没少做，尤其是兼并百姓之田，更是肆无忌惮。
虽说这事儿并不能怪家人，苏州赋税之重，天下第一，不要是平头百姓吃不消，就是好一点的大户也略感吃力，所以一些大户，富户、与金家沾亲带故的亲朋好友便将田土托付到官绅名下便可以逃税，有了官家这个保护伞，拥有土地之人，只需以佃户名义缴纳地租若干而已，总比赋税轻，更别说攀上金家后，不用服徭役、不用交赋税、不用应付官差了，起先家人倒也没那么大的胆子，金家虽说是诗书礼仪之家，但在金老爷子之前，不过小门小户而已，直到金老爷子十年寒窗苦，一朝金榜题名，从七品的县令，芝麻开花节节高，一路做到了同知、知府、侍郎、尚书，正二品的官儿，金家才开始发家致富，这些年来送土地、送店铺，送房舍的络绎不绝，金家本不过是殷实的小户人家，靠着祖上勤恳，倒也留下了几十亩上好良田和一桩一进一出的房舍，两家绸缎铺子，家业虽不算丰厚，但绝对算得上殷实，可自从他做官，披上了官家这张二品的官服，他家的田产、房舍、店铺宛如决堤的太湖一般，汹涌而来，各种产业，各种田产，礼品都涌入了金家，短短几年的功夫，金家就有了十几万亩的田产，除了苏松一带的两幢三进三出的房舍外，就是苏北一带，不算这座田然风光的桃花庵外，就他知道的就还要三幢房舍，更别说其店铺上百间，嫣然已是苏州第一家了。按说金家已到了这地步，再多的田产，房舍、店铺不过是锦上添花而已，作用不大，弄不好还是祸根，身为官员他自是知道，有了金家带头，其他大户、富户少不了有样学样，大肆兼并苏州田产，如此以来，造成的后果，苏州每年少几万亩家产都是小菜一碟，十万亩也不是没可能，而整个苏州府一共才有将近六百万的土地，一个金家十几万，二十几万，苏州大户、富户、王侯公孙人数可不少，一旦都吞并，所占比例可不小，这样的后果就是朝廷损失相当一部分的税收和数十万壮丁的徭役，苏州知府能放过，朝廷能放过，虽说在大明百姓投献是人人都知道的事情，可身份不同，做的规模就不同，木秀于林，风必摧之，似金家这样大规模的接受投献，只会让金家的田产、房产的数字变大，最终是把金家放在火炉上去烤。
事实证明，他的判断是正确的，苏州赋税虽重，但洪武时土地兼并不慎严重，百姓尚且还能承担的起，可到了永乐后期，似他这样的官宦人家，外加宗室勋贵、缙绅地主仗着特权隐瞒田亩、偷税漏税”从中大肆渔利，百姓赋税越来越重，朝廷赋税却年年亏空，一年两年尚未可以看做是天灾**，年年若此，朝廷就不能坐视不管。当今圣上励精图治，苏州赋税关乎大明江山安稳，岂能置之不理。
事实上从宣德三年，金老爷子就明锐的感觉到朝廷对苏州动手的意思了，先是派遣况钟坐镇苏州城，跟着以善于理财的周忱也派往江南整顿田赋，身为二品金老爷子，在官场摸爬打滚的大半辈子，若连这点都看不清楚，那岂不是老眼昏花。
在这之前，他让人给家送了一封信，信里装了点土和银，目的便是告诉家人，皇帝要对苏州田产、赋税动手了，好生收敛，以自家儿子的聪明，不会看不出自己的用意，事实上他猜得不错，大儿子金环很快就察觉了他的用意，除了告知家人外，倒也给了他一封信，信上说都已安排妥当，为父不必担忧，他虽然心有疑虑，但千里之外，纵然有心也鞭长莫及。
直到他以年事已高，致仕回家，方才知道所谓的妥当，不过将对金家最不利的舆论给压制了下去，同时那些有田产真争夺的案子，也被家人用了手段，弄成了拖字诀，百姓无钱大官司，又没这个精力，一来二去，这事儿就也不了了之了。
他虽愤怒，但事已至此，也为之奈何，再者，总就是自家之事，自己这个一家之主，也不能坐视不管，致仕这几年官职虽没了，可影响力还在，那些受其恩惠的门生故吏可不少，这个言语几声，那个送个信儿，倒也让金家在这几年的风口浪尖