霍光看出劉詢是一個精明幹練的皇帝。既然皇帝已經成熟了，他就得功成身退放權還政。他知道功高就會震主，震主就會招來禍端。欲加之罪，何患無辭。曆史有多少功臣就是因為功高震主被主子猜疑而招來滅門之災。
這天一下朝，他就回了府，想冷靜地考慮考慮急流勇退的事。
當他在府門外下馬時，有關霍顯風流的那些傳言又浮現在腦海裏，他的心霎時變得一片冰涼，像浸在黑不見底的冰窖裏。雖說王子方被他打發走了，可馮子都還在。如果他現在突然回來，發現妻子和馮子都正在他的床上那該怎麼辦？殺了霍顯？霍家的醜聞很快就會傳遍朝廷上下甚至全國。盡管他是大將軍，像一棵挺立的蒼鬆，卻擋不住背後那些輕蔑藐視的眼睛；如果饒恕了他們，一個頂天立地的首輔大臣戴著一頂綠帽子，怎麼能挺直腰杆立於朝堂之上。他寧願這是一場噩夢，醒來時什麼事情都沒有發生，什麼傳言都是子虛烏有。那才是不幸中的萬幸。
霍家大院裏冷冷清清，大部分人員都被封官上任去了，留下的大空缺還沒有補充上來，一時沒有人來接霍光。霍光一個人向霍顯住的小院裏走去。小院裏也是安安靜靜，隻有侍女紅一個人坐在西牆下做針線活。霍光心生猜疑，這姑娘是不是在給霍顯放哨？
侍女紅看見霍光回來，連忙站起來想打招呼，霍光以手勢製止了她。聰明的侍女紅明白霍光打手勢的意思，又坐了下去。霍光走進屋內，霍顯正在背著身子試穿一件肚兜，聽到腳步聲，她以為是侍女紅進來了，頭也沒回地問：“有事嗎？”霍光沒說話，把全屋掃視了一遍，沒有發現疑點。霍顯回過頭發現是霍光，怪罪說：“你回來怎麼也不通知一聲？”
霍光隨機應變說：“我想給你一個驚喜。”
霍顯反唇相譏：“你是想給我一個措手不及。好吧，你好好搜查搜查，看我藏野漢子沒有。”
霍光說：“你疑心了。”
霍顯嗚嗚地哭起來。哭得十分傷心，兩肩激烈地顫抖著。
霍光問：“你這是怎麼了，我又沒有怪罪你。”
霍顯抬起頭滿眼委屈地喊著：“是哪個愛嚼舌頭的誣告我。我冤枉啊！”
霍光安慰妻子：“別哭了。常言捉奸拿雙。我又沒有拿到證據，怎麼會懷疑你的不貞呢？”
“你真的不懷疑我了？”
“真的。”
“假的。”
“什麼意思？”
“你為什麼不明不白地把王子方開走了？”
霍光怎麼能向妻子說明開走王子方的真正原因呢？他隨口編了個理由，說：“他貪汙了秦皇陵的出遊款。對主子不忠的人，還能用嗎？”
霍顯知道霍光說的不是真話。如果丈夫真的說了真話，她還真的下不了台。
霍光在朝廷上是個呼風喚雨、叱吒風雲的大人物，可是在霍顯麵前卻像個馴順的羔羊。他愛霍顯，隻是朝事繁忙疏忽了家庭，沒有盡到一個丈夫的責任，為此常常感到內疚。幸好，他猜疑的事情終於沒有發生。也許是他開走王子方使霍顯收斂了。想到這裏，霍光的心暫時平靜下來。