光武帝認為他的功臣多是戎馬出身，雖擅長打仗，但不熟悉典章製度，不懂得治國理政。不少人還往往自恃功高不聽命令、不遵法紀、為所欲為，如果繼續受到重用，讓他們身居高位，對東漢政權是一大威脅。因此，劉秀決定采取穩妥方式予以解決。
一方麵，劉秀依然效仿以前的君主的做法，大封功臣，他讓郎中馮勤專管此事。馮勤精明能幹，他規定按照功臣功勞的大小決定其封地大小、遠近和土質肥瘠，並且製定了一個周密的方案。劉秀根據這個方案，一次就封了360多人為列侯，給予他們崇高的地位。這些列侯的食封數量，最大的有四個縣，小的隻有數百戶，比西漢時少得多。
另一方麵，劉秀又采取措施，抑製功臣的權利，以防止他們恃寵而驕。對於這些功臣中有較高政治才幹的，劉秀仍加重用，讓他們參與議論軍國大事。如鄧禹，才學滿腹、善於謀略、器量恢宏，劉秀對其委以重任，任命他為大司徒，封豐臣侯，食邑萬戶。公元28年春，鄧禹奉命率軍南攻，收降劉嘉，擊敗延岑。公元37年，天下平定，鄧禹又被封為高密侯。而對於那些雖屢建軍功卻缺少治國才幹的功臣，光武帝隻讓他們享受榮華富貴、優遊享樂以盡天年，並不授以實職實權。如馬成，在劉秀征討河北時，他棄官步行，追到滿陽才趕上劉秀。他殺李憲，敗隗囂，破河池，平定武都，曾被封為平舒侯、揚武將軍，最後被封為全椒侯。再如馬武，他是一個文化水平不高的草莽英雄，但在每次戰鬥中都是身先士卒、衝鋒在前、勇猛無敵、屢立戰功，劉秀稱帝後，拜其為侍中、騎都尉，封山都侯。
因此，功臣中除了大將李通、鄧禹、賈複三人參與議論軍國大事之外，其他大多數列侯成為閑員。經過削權封侯，漢光武帝有效地控製了這些將領的軍事力量。
封完功臣之後，劉秀又特地下了一道詔書，希望諸位功臣不要恃寵而驕，對自己要求要嚴謹，節製自己的行為，這樣就不會有什麼危險，並能把爵位傳給子孫。
後來，劉秀的繼承者漢明帝劉莊請畫師繪製這二十八員大將的畫像，掛在南宮的雲台，以應二十八星宿之數，“雲台二十八將”就是因此而得名的。從此，“雲台二十八將”與光武帝劉秀一起彪炳華夏史冊。唐朝初年，唐太宗李世民也曾命畫家閻立本將長孫無忌、魏徵、尉遲敬德等24名功臣的像畫在淩煙閣上，以供後世敬仰，正是效法此舉。
退功臣的同時，劉秀重用了大批文吏。光武帝認為文吏們熟悉封建典章製度，懂得治理國家且情操高尚。建武六年、七年，劉秀連續兩次下詔，命令各地官吏推舉賢良，到京城參加選官考試。
在詔書中，劉秀嚴格規定了選官的條件：第一，品德高尚，身世清白；第二，要有知識，是通經的博士；第三，熟悉各種法令，能熟練地依法辦事；第四，具有魄力才幹，遇事不惑，能獨當一麵。各地官吏在選擇人才時，必須嚴格按照這四條標準，如有違者，必將依法治罪。
為了得到一批有高度文化修養的文吏，光武帝還多次親自訪求名賢，網羅了一大批品行端正、廉潔奉公的有用人才。
設尚書台，防止大權旁落劉秀鑒於西漢前期三公權重、權柄下移，雖設三公之位，而把一切行政大權歸之於設在中朝、由皇帝直接指揮的尚書台。西漢時的常製，丞相、太尉、禦史大夫統稱為“三公”。劉秀借鑒西漢後期官製，將其分別改為大司徒、大司馬、大司空，稱為“三司”。並規定三司各有職掌，各負其責，不可逾越。公元51年，劉秀再次下詔，大司馬仍稱太尉，大司徒、大司空並去“大”字，且名位略低於太尉。官名的改動、“大”字的刪除，絕不隻是表麵形式，而意味著三司權力的削弱，這與從前三公無所不統是有很大差別的。三司權力削弱了，權力被轉到少府屬下的尚書台，故有“雖置三公，事歸台閣”之說。尚書台設尚書令一人，秩千石，尚書仆射一人，六曹尚書各一人，秩皆為六百石，分掌各項政務。以下設有丞、郎、令史等官，所有一切政令都由尚書台直接稟陳皇帝，由皇帝裁決。
這項措施，是將漢武帝以來開始參與掌權的尚書合法化、製度化。尚書台的設立是相權與皇權鬥爭的結果，是劉秀加強專製集權的重大措施，也是中國古代政治製度的一項大的變化，它的設立可暫時阻止朝廷大權旁落。
劉秀雖然提高了尚書的權力，把原來地位較低的事務性官員變為政務官，讓他們掌管全國政事，直接對皇帝負責，但其地位無異於皇帝的機要秘書。光武帝還在宮廷內設置中常侍、黃門侍郎、小黃門、中黃門等宦官職務，由他們掌管傳達皇帝的號令和詔書，閱覽尚書進呈的文書。這樣，尚書權高位低，三司有職無權，宦官隻供驅使，大權便集於皇帝一身。但是到了東漢後期，有權勢的大臣多加“錄尚書事”的職銜，從而權柄再度下移，尚書台又蛻變為權臣專政的工具。特別值得注意的是，宦官雖然隻供驅使，但實際上權力要大得多，這也為東漢中後期的宦官亂政埋下了禍根。