萬曆小皇帝登基後，在首輔張居正的主政下，很多以前遭貶的官員都被給予了平反，還有一部分像戚傑這樣的人得到了官複原職。而潘季馴知道，讓他丟掉官職的人正是現在的當權者張居正，重回仕途已然是遙遙無期，甚至連一點機會都沒有了！他不禁感歎，我潘季馴徒有滿腔熱血、徒有滿腔抱負，難道這輩子就這樣完了嗎？
潘季馴丟了官職，賦閑在家的這一段日子裏，他的心情是極其失落的。好在一家人終於告別了聚少離多的日子，可以熱熱鬧鬧地在一起生活了。兩位夫人相處得很融洽，常以姐妹相稱，大夫人常青音秀外慧中，知書達禮；二夫人施景蘭端莊大方，任勞任怨。
孩子們都很懂事，相處的也很和睦。潘季馴共有四子一女，分別為大複、龍翰、龍授、孺生以及女兒龍嬌。大複為大夫人青音所生，其他三子一女為二夫人景蘭所生。作為大哥，大複特別疼愛和照顧弟弟妹妹們。同樣，弟弟妹妹們也很尊敬他們這個大哥。兩位夫人對孩子們一視同仁，孩子們偶有爭吵，無論哪位夫人出麵調停，都能和平化解。看著孩子們茁壯成長，潘季馴心裏感到很是欣慰。
昔日官場上的好友聽說他賦閑在家，紛紛過來探望，經常是三五個好友聚在一起喝喝茶，下盤棋，海闊天空地閑聊著；又或相約出去踏青，吟詩作賦一番。這樣的日子過得倒也愜意，可是日子久了，潘季馴卻心煩意亂起來。他是個閑不住的人，怎能這般渾渾噩噩、無所作為地打發光陰呢？
湖州知府王士貞是潘季馴的鐵哥們，一次帶兒子來到潘家做客，見兒子與潘季馴的女兒龍嬌很般配，於是就約定成為兒女親家。有了這一層關係，王士貞來潘家的次數更加勤了，他感觸到了潘季馴內心的失落，於是就試探地問：“潘公，如果朝廷重新啟用你，你願意應召進京為官嗎？”
潘季馴決然答道：“縱然烏紗帽千般好，隻要那姓張的當朝執政，我潘某絕不入職為官！”
話可以這樣豪邁地去說，但現實卻很殘酷，很難過。轉眼間二三年過去了，這一家老小就靠以前積累的家業吃老本過日子，沒有其它主要收入來源，這樣的日子遲早要坐吃山空啊！潘季馴不想再入朝為官，這也許是他單方麵一廂情願，是他單方麵的故作姿態。朝廷好像已經將他遺忘了，根本沒有想啟用他的意思，他即便願意做官，好像朝廷卻不太可能提供這個機會給他。
大夫人青音道：“相公，我外甥戚傑在京城吏部任考功郎，不然奴家寫封信去，讓他幫忙打探一下朝廷的近況！”
潘季馴卻止住她，道：“我潘某這輩子再也不踏進官場了！家庭開支方麵。夫人你放心，我潘某有手有腳，做些其它營生，定不會讓一家老小餓著！”
大夫人青音還是悄悄地給外甥戚傑去了一封信，讓他為潘季馴的事情活動活動，打探一下情況。病急亂投醫，青音讓戚傑打聽朝廷的一些動向，看看自己的夫君有否重回官場的可能。其實她並沒有抱有多大希望，結果外甥反饋回來的信息卻令她非常興奮，說讓夫君靜心等待，遲早定會被朝廷重新招用！
當她將此消息告訴潘季馴時，潘季馴卻責備道：“你這婦道人家，不讓你摻和的事，你卻為甚偏要去做？”
雖然是責備的話語，青音還是從夫君的臉上看出些許興奮。夫君是事業心很強的人，目前這種散漫的日子會將他憋悶壞的，他該出去做事，不應該一直呆在家裏看著老婆孩子，毫無目的地過活。
戚傑在京城吏部任考功郎，碰巧的是，那個給事中雒遵也是吏部的官員。兩人是同年中榜，都是嘉靖四十四年考取的進士，戚傑那年二十歲未滿，是那屆年齡最小的進士；雒遵那年三十七八歲，大上戚傑近十七八歲，算是戚傑父輩年齡的人。盡管年齡上差了一大截，由於同在吏部，又是同年，所以兩人關係頗好。
二姨青音來信，讓他幫忙打探姨夫潘季馴是否還有入朝為官的機會，戚傑於是就想到同在吏部的雒遵。這雒遵為人耿直，說話實事求是，頗得當權者賞識，他與戚傑是那屆中榜的進士中被提拔最快的兩個人。高拱掌權時，曾經派他去勘察開膠萊運河進行海運是否可行，他如實地將自己所掌握的情況向朝廷彙報一番，說這項工程並不可行。高拱聽了他的話，也就打消了開鑿膠萊運河的念頭。現在張居正當權，他對這個雒遵也很看重，於是派他去調察新開泇河的可行性。