劉秀的家裏共兄弟姐妹6人，大姐劉黃，二姐劉元，妹妹劉伯姬；大哥劉縯(字伯升),二哥劉仲。在兄弟當中，他排行最小。在劉氏兄弟中，劉秀和劉縯最有出息，但這一母同胞的哥兒倆脾氣稟性卻截然不同。劉縯“好俠養士”,剛毅慷慨而比較外向。劉秀則“性勤於稼穡”,謹厚而比較內向。劉縯經常笑話劉秀整日隻知埋頭幹田間的農活兒，“比之高祖兄仲”。原來，漢高祖劉邦的哥哥劉仲擅長理家治產業，劉邦的父親總是因此數落劉邦無賴，不能治產業，不像劉仲那樣勤力。到了後來劉邦做了皇帝，一次在給老父親祝壽的時候，劉邦想起以前的事就問道：“今某之業所就孰與仲多?”這句話給了老父親一個很大的難堪，當時“殿上群臣皆稱萬歲，大笑為樂”。說起這位劉仲，對政治則是一竅不通。劉邦封他為代王，有一次匈奴進犯，他竟然嚇得棄官逃跑，因此被削奪了爵位。劉縯把劉秀比作劉仲，意思是說他和劉仲一樣，也是個窩囊廢。劉秀對於哥哥的嘲笑，並不在意。劉秀在蕭縣叔父那裏受完初等教育之後，決心走出家鄉，去京師長安的太學(所謂“太學”,是古代的一種政治大學)繼續深造，親眼看一看外麵精彩的世界。
劉秀從一個小縣城來到當時最大的城市長安，見識的東西多了，眼界自然比以前開闊多了。當時他跟隨一位名叫許子威的先生學習《尚書》。許先生是廬江(今屬安徽)人，後曾官拜中大夫。《尚書》就是我們平常所說的《書經》,是古代政治文獻如記事文告、命令、講話記錄等的彙編，據說經由孔子刪訂。
史載，劉秀學習《尚書》“大義略舉”之後，“因學世事”;由於他聰穎勤奮，故“朝政每下，必先聞知”,而且“具為同舍解說”,即把自己所“聞知”的“朝政”解說給同宿舍的人聽。應該說，在長安這種學習經曆，對於劉秀的成長是很有好處的。
當時與劉秀一塊兒來京城太學學習的還有族兄劉嘉。劉秀這位族兄也是自幼父母雙亡，由劉秀的父親劉欽收養。劉嘉因為性情仁厚，所以劉欽對待劉嘉視如子。由於這兄弟倆自小一起長大，如今又同來太學學習，所以倒是很好的一對夥伴。劉嘉除了學習《尚書》外，還學習《春秋》。不過比較來看，劉秀卻是一個更為活躍並很有膽氣的人物。
那時南陽上層人士往來長安，他與這些人保持著經常的聯係，並為之效力。為了解決求學盤資的不足，劉秀與同宿舍住的韓子共同湊錢買了一頭驢，租給別人使用以賺錢，不想此做法還真見經濟效益。
有一次，為了替季父家追回逃租，他竟然訴訟到大司馬嚴尤那裏。嚴尤見劉秀一表人才，所以對劉秀非常賞識。這些就可以看出青年時代的劉秀便是個頗有政治頭腦且善於經營管理的人，說明其思維敏捷，並具有多方麵的才幹。史書稱他“仁智明遠，多權略，樂施愛人”,大體還是不差的。
南陽宛(今河南南陽)人朱祐，字仲先，當時也在太學學習。劉秀“往候之，不時相勞苦，而先升講舍”。後來劉秀做了皇帝，朱祐是臣子。有一次，劉秀駕臨朱祐家，笑著問他說：“主人得無舍我講乎?”當年劉、朱二人在長安求學時，兩人曾“共買蜜合藥”;後來劉秀追念此事，便賜予朱祐白蜜一石，並問道：“何如在長安時共買蜜乎?”