光武帝拉著眼光來到宮中，各自在位置上落了座，光武帝便命人準備好了酒菜，兩個人邊吃邊談。劉秀問嚴光此次到京是否有什麼事情需要稟報，嚴光沒有像其他大臣一樣立即倒地跪拜，而是像原來一樣，衝著光武帝嘿嘿一笑，說道：“想你了唄。”
“想我？”光武帝很久沒有聽到這麼放肆的話了，不禁哈哈一笑，問道“想我你為什麼不直接進宮，卻跑到太學去啦？”
嚴光見光武帝問道此時，便將自己此番前來的目的說了出來。原來他也是聽說了光武帝要為太子選師父一事而來。光武帝一聽大喜，有幾分不相信地問：“倘若子陵真的願意走出山林來教導太子，那可是我漢室的洪福，朕立即責令國舅讓賢給子陵。”
嚴光不置可否地問：“外麵傳言太子傅早已被皇上內定給陰識了，原來真有此事？”
光武帝點點頭：“這哪裏是朕內定，主要是皇後一手安排的，她對外人教誨太子不放心。當然，隻要子陵願為太子傅，我會責令陰識退讓的！”
嚴光冷冷地反問道：“皇上也認為陰識可以做太子傅！”
光武帝搖搖頭：“他那點墨水朕還不清楚，鬥大的字不識兩筐，讓陰識做太子傅不過是給他臉上貼層金。朕想尋找一位德才兼備的人作太子少傅，由他真正負責教誨太子的事。子陵廣交天下賢人雅士，可否舉薦幾位？”
“天下可為太子傅的人比比皆是，僅太學館內就不乏其人，張佚、桓榮都是德才兼備之人，聖上為何不用，卻以招聘的幌子欺騙天下文人學士，而讓一個不學無術之人為太子傅呢？現在皇上尋找人輔導太子，是為大漢劉氏皇室著想？還是為陰氏外戚著想？皇上若是為了陰氏外戚，就讓陰識為太子傅，若皇上為了劉氏天下著想，就應該任人唯賢。”
嚴光說到這裏，猛地將一樽酒一飲而盡，然後把杯頓在案上，頗為氣憤地說：“皇上，你這樣做是在斷送大漢皇室的天下呀！”
劉秀被嚴光說得麵紅耳赤，急忙舉酒致謝說：“嚴兄一席話，朕茅塞頓開，不是你提醒朕，朕差點犯了大錯，朕敬先生一杯，來，幹！”
“這酒我不能喝，我要聽聽皇上準備如何處理這次太子傅招聘之事？”
劉秀見嚴光不給他留情麵，略顯尷尬地說：“朕就按嚴兄舉薦，由張佚為太子傅，桓榮為太子少傅，如何？”
嚴光搖頭說道：“皇上不要以為我是來為張佚和桓榮作說客的，直到今天我以前根本不認識二位，但對二人的才華是有所聞的，但也不能因為我一句話就輕易做出決定，皇上應該繼續招聘下去，選賢擇能，從中挑出有真才實學而又賢德的人做太子傅，若沒有勝過張佚與桓榮的，再抽調二人做太子傅，然後從招聘中挑選一些賢才之人充實太學。”
劉秀連連點頭稱是，二人一直喝到掌燈時分才罷休，劉秀拉著嚴光的手說。
“子陵，自長安太學館一別，你我再也沒有同床共枕過，今日我二人就一床共眠，敘敘別後之情，如果你決意不願留在京師輔助太子，隻怕將來再見麵的機會不多了，你我都是快六十的人了。”
嚴光見劉秀說得如此動情，點點頭：“隻要皇上不認為我這草木之身玷汙了皇上龍體，恭敬不如從命。”
晚上，二人同床共臥，一直談到深夜才入睡。
第二天，嚴光還沒起床劉秀就先起身，當服侍太監進來時劉秀已經穿戴整齊，太監怕劉秀怪罪，急忙跪地求饒，劉秀擺擺手：“朕出去進行早課，嚴先生醒來時你服侍他更衣就可以了，不得有半點馬虎。”
所謂早課，就是每天早晨起來先打一套長拳，再舞弄幾件兵器，或騎馬跑上幾圈，然後再坐下來讀上幾篇文章。當然，這必須是不上早朝之時。
劉秀上完早課回到寢宮，嚴光剛好起來，劉秀上前說道：“子陵，朕今日恰好沒有什麼重要事處理，你陪朕外出狩獵吧？朕好久沒有痛痛快快地樂一樂了。”
嚴光遲疑一下：“可是，我不懂狩獵。”
“沒關係，隻是出去兜兜風，你不懂狩獵可以觀看麼。”
劉秀命人準備車駕，他和嚴光同乘一輛車輦，並排而坐，從大街上穿行時引來眾人非議。劉秀置若惘聞，嚴光也泰然處之，直到邙山行獵場，嚴光才說道：“我本來不想同皇上共乘一輦，更不應該並排而坐，但轉念一想我必須這樣做，隻有這樣才能進一步樹立皇上在百姓心中的地位。”
劉秀笑道：“原來子陵效法侯贏成就魏公子無忌之為，多謝多謝，朕請嚴兄同車而行隻是想重溫太學郊遊時的放浪形骸勁兒，不受任何君臣之禮的約束，痛痛快快地樂上一樂，想不到子陵在言談舉止上都處處為朕考慮——”
今天，不知是因為有同學相伴，還是因為行獵時有了興頭，總之，劉秀的運氣特別好，較往常捕到的獵物特別多，他也特別興奮，中午又和嚴光等人在邙山腳下野炊一頓，下午接著行獵，一直打到天色已晚才依依地離開邙山獵場。
當光武帝車駕儀仗回到洛陽西門時，城門已經關閉。劉秀命護駕禦林軍上前喊門。不久，禦林軍校尉張宗回來報告說，守門將官拒絕開城門。劉秀見嚴光正坐在旁邊，他覺得很沒有麵子，生氣地斥道：“你為何不說朕在此，急著回宮？”
張宗急忙施禮答道：“回皇上，臣說皇上行獵在此，要他們立即打開城門，可他們推說看不清皇上是否在此，拒絕開門。”
“今日是何人負責駐守西門！”劉秀不滿地問道。
“執金吾郅惲。”
劉秀看著嚴光，遲疑一下說：“朕親自到城門前讓郅惲看個清楚，看他還敢不開城門！”
劉秀命人驅車來到城門前，然後對張宗說：“你去上前喊門，讓郅惲看得仔細一些，瞧瞧是不是朕在此！”
張宗上前高聲喊道：“郅大人，皇上在此，請你看仔細些，快開門讓皇上回宮。”
誰知張宗話音剛落，郅惲就在城上大聲說道：“皇上以勤政著稱於天下，怎會私自出城行獵呢？即使偶爾行獵也決不會天晚而歸。對於關城門的時辰皇上怎會不知而故意推遲入內呢？皇上曾經有令，城門一旦關上，除非重大軍情，一般不許私開城門。”
張宗急了也大聲說道：“皇上就在城下，怎麼叫私開城門呢？郅大人難道敢不奉詔令嗎？”
郅惲仍然裝糊塗說：“天色已晚，看不清城下是何人，倘若有人冒充皇上來騙開城門，這個罪責何人敢當？”
郅惲的話劉秀聽得一清二楚，他鐵青著臉對張宗說：“不要再同他多費口舌了，隨朕到北門，入城後朕再收拾他！”
劉秀一言不發來到北門，北門守將崔進一聽說皇上狩獵歸來，急忙打開城門，親自出城把劉秀迎入城內，劉秀的臉色這才緩和一些，向嚴光說道：“崔進是朕一手栽培起來的年輕將領，值得信賴，可以大用，而郅惲則自以為有功，倚老賣老，朕一定好好教訓教訓他。”
一直沉默不語的嚴光這才說道：“以我一個草民之見，皇上應該嚴懲崔進而重獎郅惲才對。”
光武帝不解地問：“這是為什麼？”
“道理很簡單，郅惲是聽從皇上守城禁令，恪遵職守，一絲不苟，秉公辦事。而崔進卻是一聽皇上之名也不詳察就慌忙開門，這是徇私舞弊，趨炎附勢，玩忽職守。”
光武帝一聽嚴光說得有道理，頻頻點頭，忽然又問道：“子陵如何看待朕今日的遊獵呢？”
嚴光說：“皇上整日操勞於國事，偶爾在閑暇之際出宮遊獵消遣一下疲勞也有利於身心健康，這是無可厚非的，也是百姓欣欣然有喜色而相告的事。可是，皇上一旦沉緬於遊獵，樂而忘返，樂而忘卻國家大事就不應該了，這就是過度吧。”
光武帝接受了嚴光的建議，第二天早朝上親口向群臣致歉，並懇請眾人監督，文武大臣也被光武帝的誠心所感動，齊聲高呼萬歲。
光武帝命人把執金吾郅惲宣上殿，對他大加讚揚，並賞賜他布帛百匹，良馬十匹，以表示自己的致歉和厚愛。相反，光武帝也命人把崔進叫上殿，當著文武大臣的麵把他訓斥一頓，撤了他的北門侯一職，降為參封縣縣尉。
嚴光走了，光武帝親自把他送到郊外，臨別時，光武帝感慨地說：“子陵，我雖是帝室之胄，但其實是布衣一個，如今能承襲漢室宗祧，登上九五之尊，實出所料，每當想起此事總感到惴惴不安。卑微之軀承蒙上天垂青巧得大寶，如果稍一不慎做出愧對天下黎民百姓之事，實在應該受到天地神靈的懲罰。因此，自登基稱王以來，朕都兢兢業業，嚴以律己，寬以待人，以和為貴，用仁愛治理天下。朕私下把自己同秦皇漢武作比較，無論史家如何評價朕，朕都不以為意，但朕至今仍有兩大遺憾——”
嚴光不解地問：“正如皇上所言，論功德，足以和秦皇漢武媲美，為王者能做到這一點實在不容易啦，但不知皇上還有哪兩大遺憾？”
光武帝注視著嚴光，歎息說：“朕第一大遺憾就是沒能請動你來輔佐漢室，如此大賢遺之山林，這是國家的不幸，更是朝廷的悲哀。”
嚴光搖搖頭：“皇上惜才之心實在折服，但皇上言重了，我不過是遺之山林的蓬蒿而已，皇上之心是得不到的東西都是好的，這也許就是一種殘缺的美，或者說是一種遺憾的美吧。希望皇上把待我之心投放到對待天下讀書人的身上，漢室將更加旺隆。”
光武帝誠懇地點點頭：“請子陵放心，朕一定做得到！”