一日，孔光對他夫人歎道：“夫人，我如今所作所為是不是在助紂為虐？”
孔夫人道：“夫君，有些話，不知當講不講。”
孔光道：“夫人直說無妨。”
孔夫人道：“夫君，自從先皇劉欣駕崩，太皇太後卻扶持隻有九歲的劉衎做皇帝，為什麼？就是為了能控製皇帝，控製朝野。其實太皇太後這樣做隻是為了保護自己的權力和利益，並無多大野心。不過，我覺得王莽這個人的野心極大，他已經秉政，權傾天下，但作為秉政者，胸無容人之量，不斷打擊異己者。先罷免何武和公孫祿，後又以各種罪名陸續罷免了中太仆史立、南郡太守毋將隆、泰山太守丁玄、河內太守趙昌等二千石以上的高官，剝奪了高昌侯董武、關內侯張由等的爵位。與此同時，王莽逐漸培植了自己的黨羽，以其堂弟王舜、王邑為腹心，用自己的親信甄豐、我們的女婿甄邯主管糾察彈劾，平晏管理機事事務，最後還有一點不得不提的，他利用太皇太後把自己的叔父王立都逼走了。當王莽掃除一切障礙後，夫君危已。”
孔光點頭歎道：“夫人說得有道理啊，為夫也察覺到了。最近為夫為了女婿做了不少助紂為虐的事啊。”
孔夫人道：“夫君哪，你這樣做不是幫他，是害了他！我們的女婿現在已經完全倒向了王莽，對你的話都不聽了，你所做的還值不值得啊？”
孔光問道：“夫人，為之奈何？”
孔夫人道：“現在朝堂上下都已經是王莽的人，江山社稷將來如何，你改變不了了。為求自保，你還是向太皇太後請求告老還鄉吧，我們一起回鄉安度晚年，如何？”
孔光哀歎道：“為夫如今真的如當初何武和公孫祿所言，九泉之下無顏見先祖孔夫子了。”
二日，孔光上奏道：“皇上，太皇太後，微臣老矣，力有不第，微臣請求皇上恩準，準許微臣告老還鄉，頤養天年。”
劉衎道：“孔卿家，你要告老還鄉？朕還需要你啊。”
王莽對孔光的辭職要求頗感意外，問道：“孔大司徒，你要告老還鄉？”
孔光道：“微臣年事已高，恐辜負厚望，難任大司徒一職，微臣認為大司徒一職應交給年輕有為之人，定能為我大漢造福。”
王莽還需要孔光大儒者的身份為自己招賢呐喊，挽留道：“既然孔大人覺得自己已經不適合做大司徒，皇上，那就準孔大人不擔任大司徒。大司徒之職就交給平晏，孔大人改任太傅之職如何？”
劉衎道：“對，王卿家說的有道理，那孔大人就按王卿家的意思，改任太傅之職。”
孔光想堅持辭官，為難道：“這……皇上。”
王莽道：“孔大人，皇上主意已決，還不謝恩？”
孔光知道王莽還不會放自己走，辭官之事隻能暫且擱置，謝恩道：“謝皇上！”
甄豐站出來道：“皇上，太皇太後，微臣有事啟奏！微臣認為，王莽大人定策安宗廟的功績與霍光一樣，為大漢江山社稷做出了巨大貢獻，應該享受與霍光相等的封賞！”
王莽推辭道：“此事萬萬不可，甄豐大人言重了，微臣怎麼可以跟霍光大人相提並論呢？霍光受繈褓之托，任漢室之寄，匡國家，安社稷，擁漢昭帝，立宣帝，雖周公、阿衡何以加此！再說，定策安宗廟是與孔光、王舜，甄豐、甄邯共同定策的，微臣的貢獻是微不足道的，希望太皇太後重賞他們四人，微臣不敢邀功。”
甄邯出來道：“皇上，太皇太後，王莽大人的功績是有目共睹，在民間也有極高聲譽。如果太皇太後不給相應封賞，微臣覺得極不公平。”
這時百官下跪求道：“請皇上，太皇太後恩準！”
王莽帶著哭泣聲假意道：“各位大人言重了，太皇太後，微臣受沐大漢皇恩，微臣所做一切都是微臣應該做的。所有封賜微臣萬萬不能受。”