王陽明在對待家人的問題上，大抵追求盡心盡性，但違逆心性而心隨事轉的情況也很多，一個心懷大誌、事業成功的男人，很難同時是一個好兒子、好丈夫、好父親，王陽明也不例外。他第一個對不起的人是他的妻子諸氏。諸氏是他的親表妹、江西布政司參議諸養和的女兒，當他17歲時，經“父母之命，媒妁之言”，兩人結為夫妻。當時王陽明正迷戀道學，每日鑽研“長生久視”之術，新婚之日，他拋開家中成群的賓客，閑遊鐵柱宮，見一位道士盤腿坐於榻上，交談之下，得知道士懂養生之術，於是盤腿與其對坐，相談甚歡，竟將婚禮置於腦後，直到第二天清晨，才被焦急不已的嶽父派人找回家。俗話說“春宵一刻值千金”，他卻讓新娘獨守空房，於情於理都說不過去，即此也可見他的率性。
後來，王陽明仕途奔波，跟妻子相聚時少，讓妻子獨守空房的日子太多太多，那幾乎成了一份他還不起的債務。不過，他並未放棄做丈夫的責任，當他初入官場，鬱鬱不得誌時，曾寫過一首《又重遊開先寺題壁》：
中丞不解了公事，到處看山複尋寺。
尚為妻孥守俸錢，到今未得休官去。
三月開先兩度來，寺僧倦客門未開。
山靈似嫌俗士駕，溪風攔路吹人回。
君不見富貴中人如中酒，折腰解醒須五鬥。
未妨適意山水間，浮名於我跡何有！
好一個“尚為妻孥守俸錢，到今未得休官去”！此語正好寫出了許多男士的心聲，他們心懷責任，為了讓妻兒過上“好日子”，不得不忍受無聊乃至厭煩的工作。
王陽明第二個對不起的人是他的奶奶，當他入仕後，奶奶年近百歲，他多次請求辭職回家，陪侍在奶奶身邊，因皇上不準辭職，以至奶奶命終時，未能見上一麵，引為終生之憾。
王陽明第三個對不起的人是他的父親、狀元公王華。王陽明平定“宸濠之變”後不久，聽說退職在家的父親病重，內心焦急，四次上書向皇上請假，都未獲批準，因此產生了“棄職逃歸”的念頭。後來接到家信，說父親病體已經痊愈，這才打消了“逃歸”的念頭。有一次，他問學生們：“我想棄職逃回時，你們為什麼沒一個讚成我？”
學生說：“先生思歸一念，亦是著相。”
陽明沉思良久，說：“此相安得不著！”
但是，他雖有孝心，終究被公事纏縛，“忠孝不能兩全”，無法在父親身前盡孝。
王陽明還有兩個對不起的人，一個是養子正憲，一個是兒子正聰。王陽明四十四歲時，因諸氏不生兒子，於是過繼堂侄正憲為子。諸氏去世後，王陽明續娶張氏為妻，在他五十五歲時，張氏生了兒子正聰，令他喜出望外。但是，因公務繁忙，無論對繼子還是兒子，他都沒有時間盡教養之責。正憲一生平庸無奇，正聰才兩歲時，王陽明奉命出征，死於征途，撇下孤兒寡母。王陽明臨終前，深知家族內部矛盾重重，不免為正聰的未來擔憂，於是委托他的弟子回來分了家，並讓弟子們每年輪流選派兩人前來照看正聰。他還寫了一篇《同門輪年撫孤題單》，嚴正聲明“諸叔侄不得參擾”。
王陽明死後，由於大學士桂萼攻訐他擅離職守等過，朝中政敵乘機落井下石，以至皇帝下詔停掉了對他的家人的恤典和世襲爵位，還將他的“心學”定為偽學，嚴禁流行。當地官員、惡少、家族中人，起而尋釁，正憲和正聰無法在家鄉安居，不得不“逃竄”他鄉，家產也被人瓜分。好在王陽明的弟子分外照應，兩個孩子後來的處境還算不錯，且正聰終於承襲了伯爵位，自此王家成了浙東望族，那也可以算王陽明澤被後人了！
在對待家人的問題上，王陽明究竟著相還是不著相呢？其實，無論著不著相，事情該怎樣還會怎樣，人的願望和努力，終究無法跟大勢所趨相抗。人隻能“盡性”而已，卻不能奢望結果一定合乎理想，順其自然地生活就可以了！