到了後來，劉發這一脈越來越不爭氣。到劉發的兒子一代直接從長沙王變成舂陵節侯，踩了一腳倒檔——降級了。侯爺畢竟也是個爺，雖然不如王爺威風，但勉強還可以撐個場麵出來，以後的日子就更加悲催了。
侯爺的爵位傳了三代，王莽就上台了，劉家的生意越來越不好做。在王大司馬當政的這些年，最後一代侯爺劉仁的孫子劉外當了鬱林太守，基本上也就跟弼馬溫一樣不入流了。
劉外的兒子劉回成了巨鹿都尉，基本上已經成了個中等人家。三妻四妾還是沒有問題的，但是社會地位基本上已經沒有了。在心裏自美一下還行，拿出去炫耀的話，隻怕沒人會把他當回事兒了。
劉回的兒子劉欽更慘，當了南頓令，就是個縣長的級別吧。從一個諸侯國的統治者到縣令，這個落差可是夠大的。這還不算完，接下來的經曆更慘，劉欽沒什麼能力，生的孩子不少，三個兒子三個女兒，但是都沒有能夠當上公務員。最小的兒子，隻能給人家放牛，但是他放牛的成績很不錯，最後當上了皇帝，就是劉秀。
劉秀的父親死得早，他寄人籬下，在叔叔劉良家裏混口飯吃，他的哥哥劉演是社會上的黑道大哥，喜歡結交一些狐朋狗友，每天就是吃喝玩樂，亡國的事情似乎跟他完全沒有關係。
不過，他的人脈的確很廣，四臨八鄉的流氓和他混得都不錯，劉秀後來的發跡和這位黑社會大哥也是分不開的。
劉秀是個高窮帥，長得不錯，學習還行，當個兒童團員沒問題，就是家裏揭不開鍋。以他當時的條件，居然也敢暗戀南陽郡第一美女——陰麗華。這是一段傳奇故事。
當時的陰麗華是天上的仙女，而劉秀是放牛的窮小子，劉秀的這種念頭頂多也就是一種追星。陰麗華從來都不知道自己有這麼一位傾慕者，他一直沒有談戀愛，一直都在默默地等著陰麗華。
為了得到陰麗華的愛慕，劉秀決定要做出一點成績來，他跑到長安城去上大學。由於他小時候家裏太窮，基礎沒有打好，成績一直都是平平，在班裏進不了前三，更加談不上才子，倒是認識了幾個後來赫赫有名的同學，比如幫助他打天下的鄧禹這些人，也算沒有白讀書。
因為學習成績一般，眼看考研希望不大，劉秀隻能回家繼續放牛。就在這個時候，王莽給了他希望，王莽的改革把全世界的人都搞成了腦殘，大家不知道該如何活下去，紛紛起來造反。這個時候，劉秀家裏也遭難了，還是因為他的大哥劉演這廝在黑社會裏麵混得太好，名聲太大，大約在省長那裏都掛了號，屬於必須被清除的黑五類。
有一次，他的一個手下偷了地主家的牛，人家報了案。雖然說縣令沒有任何的證據，但是作為當地的黑社會頭目，劉演成了頭號懷疑目標。縣令抓了些線人一審問，果不其然就是他手下做的，兩兄弟沒辦法隻好外出逃難。
當時南陽郡也正在鬧饑荒，他們在二姐家裏住了一段時間，二姐家也不富裕，養不起兩張嘴，他們就開始動歪腦筋。根據史書的記載，天下大亂，“讖語”出現了。對於“讖語”這兩個字，有些學者的解釋就是“神秘預言書”。每當天下大亂的時候，這東西就會出現。當時讖語的說法就是，將來有一個叫做劉秀的人會當皇帝。碰巧，當時王莽的國師也叫劉秀。
所以王莽斬殺了這個劉秀，如此一來，真正的劉秀名聲大噪，王莽等於是給他做了一個活廣告。
國師劉秀有一個學生叫做李守，他回家把這件事情跟兒子說了。兒子李通說我有個同學也叫做劉秀，於是他把劉秀找來，直截了當地就問他有沒有當皇帝的心思。劉秀當他開玩笑，說，我一個放牛娃當什麼皇帝，我距離皇帝還有十萬八千裏呢，村長我都不夠格。
劉秀同時也想，自己雖然沒有這個想法也沒有這個能力，但是他的大哥劉演早就有這個打算了。劉演的手底下也的確有一票兄弟，於是回家跟大哥商量。
劉演聽了他們的計劃，把腦袋晃得像波浪鼓一樣：這事兒別找我，我不做大哥好多年了。我現在是個自食其力的莊稼漢、守法公民，跟你們不一樣。其實他是在裝孫子，他害怕被出賣，造反的事情早就準備好了，而且他還秘密地聯絡了兩隻綠林軍的人馬。