建武十三年（公元37年）春，劉秀趁沐休之日攜陰麗華母子外出打獵，車駕夜裏返回，至上東門，上東門侯乃是汝南人郅惲，郅惲拒絕開門。劉秀命萬福海從門縫間與郅惲見麵，郅惲說：“火明遼遠，看不清。”遂再予以拒之。
劉秀當時頗是不悅，欲當場處置郅惲，陰麗華卻勸道：“上東門侯亦是盡職盡責罷了，非刻意為之。京畿重地，本該嚴加防範，萬分謹慎，倘若居心叵測之人冒天子之諱輕易進至城中而行不軌之事，如此，上東門侯便是罪該萬死。”
劉秀一想，正是此理，隻好返回，從東中門進城。可是，東中門侯一聽是劉秀，又見了萬福海，二話不說便打開城門，迎其入內。
第二日，郅惲為此上書規勸說：“昔文王不敢於遊田，以萬民惟正之供。而陛下遠獵山林，夜以繼晝，其如社稷宗廟何！”
奏章呈上後，劉秀賞賜郅惲一百匹布，貶逐東中門候當參封縣尉。
二月，朱佑奏曰：“古者人臣受封，非直係族人，不加王爵。”
二十七日，劉秀下詔，長沙王劉興、真定王劉得、河間王劉邵、中山王劉茂，都降爵為侯。丁巳（二十八日），改封趙王劉良為趙公，太原王劉章為齊公，魯王劉興為魯公。這時，劉氏皇族以及原封國撤銷而由後世繼承爵位的，共一百三十七人。富平侯張純，是張安世的四世孫，曾經曆王莽時代，因敦厚謹慎守法而能保全爵位。建武初年，張純先來歸附，照舊為侯。隨後以紹嘉公孔安為宋公，承休公姬常為衛公。
三月十二日，劉秀任命沛郡太守韓歆當大司徒。十七日，代理大司空職務的馬成又擔任楊武將軍。
這時，吳漢從蜀地整軍返回，到達宛城。劉秀下詔，準許他到家鄉祭祀祖墳，賜穀二萬斛。夏季，四月，吳漢回到洛陽。
自王莽地皇三年(公元22年)十月，劉演、劉秀起兵舂陵，與新市、平林會師，從那時起，直至建武十三年(公元37年)四月，大司馬吳漢自蜀郡還師為止，前後十幾年的歲月，劉秀戎馬倥傯，久在兵間，厭心武事，且知戰亂災荒，天下疲耗，益欲與民生養歇息。於是，大饗將士，班策書勳。功臣增邑更封三百六十五人，外戚恩澤受封四十五人。罷左右將軍官，收大將軍耿弇印綬。二十二歲的耿弇在劉秀即位之初被拜為建威大將軍，近10年時間，平郡四十六，攻城三百，未嚐受過挫折。罷免耿弇的大將軍職，以列侯身份就第奉朝請，隴蜀悉平，除了對交趾、南蠻等地用兵外，非遇急警，劉秀不談兵事，劉秀偃武思文的誌向由此可見端倪。
這時皇太子劉強，年已十三歲，常在帝側，有時問及攻戰方略，劉秀正色道:“從前衛靈公問戰陣，孔子不對答，此事非你所宜問。”鄧禹、賈複由此知道劉秀決定放下武器，用禮樂教化進行統治，不願功臣們身在洛陽而擁有重兵，於是二人交出軍權，潛心研究儒家經典。劉秀也考慮到功臣們今後的去向，想保全他們的爵位和封地，不讓他們因為職務而有過失，便讓他們以侯爵的身份離開朝廷，回到自己的宅第，隨後被加以特進之銜，定期參加朝會。