除此之外，王家还欠着一笔赌债，也有千把两银子，竟是着落在守仁的儿子正宪身上！且各屋的珍贵玩器之类大多被正宪拿去当了，单找出来的当票就有好几十张，连宜畹身边的首饰衣服也大半被当光了。
到最后，魏廷豹、钱德洪、王畿三个把阳明先生家里的事归结一下，主要是几件：王守度在外面拐骗产业；宝一、宝三两个管家在府里偷；添福、添保骗着少爷卖田卖地，从中捞取好处；王正宪自己吃喝玩乐，又好赌，把家里的田产、值钱的东西当卖得精光。
堂堂一个新建伯，都御史，立德、立言、立功的大宗师，他的家业竟败光了。
到这时候魏廷豹只能拿出一切本事应付这个烂摊子，把所有欠账尽量归拢一起，算出一个总数，竟有近三千两！
为了清偿这笔巨债，魏廷豹专门请守仁发下话来：家里凡不必要的仆佣一律清退，凑到手的银子都拢过来放在魏廷豹那里，不准任何人经手，凑到后来约有千两。绸布店里的存货尽量拿出来抵成银子，又用这点儿钱把剩在手里的两处旧院子略翻翻新，想办法卖出去，仅折数百两。田地也想办法卖掉些，又凑了一笔钱，好歹把账还上了一大半。剩下的实在无力清偿了。魏廷豹私下把几个家境好些的师兄弟们聚在一处商量，把这事约略说了，各人处借来些钱，凑在一起，勉强支应过去。
可这借钱的事不能对守仁说起，怕他脸面上无光，魏廷豹只好又撒个谎，说是已和几个债主讲妥，欠的账分开来慢慢清偿，对方不再来催了。
好在守仁已经封了新建伯，每年有一千石的俸禄，折银也有五百两，自己吃用不了几个，剩下的都交给魏廷豹拿去还债，估摸着三两年倒也还得清。只是堂堂一个状元公的家世，新建伯的门庭，竟给那些小人害成这副样子，又窘迫，又气人。
到这时候王守仁也真是发起脾气来了，立刻把王守度赶了出去，不准他再登王家的门，又把管家宝三、添保赶走，把宝一和添福都臭骂一顿，留他们看着院子。倒是过继回来的儿子正宪，骂又骂不得，打又打不得，只好说了几句冷话。自此家里的账目一律交给魏廷豹打理，旁人一分一文不得动用。正宪身上有锦衣卫百户的荫袭，是个正六品，月俸也有十石，府里的房子还给他住，吃的用的都从俸禄上出，想从魏廷豹那里要一个钱，也不可得。
王正宪年纪轻轻就荫了锦衣百户的六品正职，家境又殷实，这几年享了大福，又跟在王守度身边学了一身的坏毛病，任性跋扈，无心向学，除了在祖父、母亲面前装个样子之外，再也无人管束他。如今他把一份家业败掉了一半儿，却毫不自省，眼看家里的账都被魏廷豹这个外人管了起来，哪肯答应，看着守仁不在家，就屡次找魏廷豹争闹要钱。魏廷豹看着正宪是阳明先生的儿子，再怎么样也不能对他发作，只是左推右搪，说什么也不肯把钱给他。
闹到最后，王正宪简直把魏廷豹看成了仇人，眼看在王家混得站不住脚，又去找那个被赶出去的王守度商量。王守度就把市井泼皮无赖的种种心计点子教给正宪，让他回到家里反复折腾。魏廷豹也有办法，暗里约了南大吉出来，找王守度吃了顿饭，摆起绍兴知府的官威把唬人的话狠狠说了几句，王守度这里才略略收敛了些。
不管怎么说，守仁这些年是做了大宗师、立了大功业的，如今已是世袭伯爵，官高爵显，身边又有这么多弟子，这些弟子们官大的像方献夫、黄绾已经是皇上身边的宠臣，其他的举人、进士、府县官、京官多如牛毛，虽然守仁从不仗着这股势力做欺压别人的事，可毕竟这股势力不是王守度这种市井小人敢随意招惹的。
眼看着王守度消停了，正宪这里没人给他出坏主意了，渐渐也安静下来了。可眼下王守仁的日子过得好不清苦。
夫人过世了，又没有儿女，过继来的儿子又是这样，家里的仆佣没一个靠得住的。守仁身边只有两个人可信：一个是杏儿，一个是尔古，就和这两个人一起住在阳明书院里，平时连家也不愿意回了。