雖然劉裕出身寒門，但據說就和阿Q一樣，劉家“先前也闊過”。按《宋書》的記載，他是漢室宗親，楚元王劉交之後。
當年在沛縣（今屬江蘇）豐邑中陽裏，劉太公有四個兒子，其中的老三就是大名鼎鼎的劉邦。得天下之後，劉邦雖然對功臣像秋風掃落葉一樣殘酷無情，但對自家兄弟還是春天般的溫暖。公元前201年，他詐遊雲夢澤，誘捕了大功臣楚王韓信。十幾天後，將韓信貶為淮陰侯，同時將楚國封地一分為二，讓弟弟劉交繼任楚王。因為楚國都城在彭城（今江蘇徐州），所以作為劉交之後的劉裕便把祖籍算在彭城。
為顯示權威性，《宋書》還不厭其煩地記下了一大段長長的家譜：“交生紅懿侯富，富生宗正辟強，辟強生陽城繆侯德，德生陽城節侯安民，安民生陽城釐侯慶忌，慶忌生陽城肅侯岑，岑生宗正平，平生東武城令某，某生東萊太守景，景生明經洽，洽生博士弘，弘生琅琊都尉悝，悝生魏定襄太守某，某生邪城令亮，亮生晉北平太守膺，膺生相國掾熙，熙生開封令旭孫，旭孫生混，始過江，居晉陵郡丹徒縣之京口裏，官至武原令。混生東安太守靖，靖生郡功曹翹，是為皇考。”
關於這份家譜，很多寫這段曆史的文章都不大當真，覺得是劉裕發達後亂認祖宗的產物，那麼它究竟有幾成可信度呢？
《宋書》中的記載有幾處常被人忽略，按其記載，當時出身為漢室宗親的重要人物並不隻有劉裕一個，如劉裕的老領導劉牢之（楚元王劉交之後），劉裕的頭號心腹謀臣劉穆之（齊悼王劉肥之後），也都和當年的沛縣劉季沾親。劉牢之算是與劉裕同宗，就不說了，劉穆之的祖先劉肥是漢高祖劉邦的庶長子。
這些記錄究竟說明了什麼呢？這說明，劉穆之的出身稍高於劉裕！雖然同屬漢室宗親，但劉穆之的祖上出過一位皇帝劉邦，而劉裕的祖上一位皇帝也沒有！姑且不論劉穆之的家譜是否可靠，單看劉裕的家譜世係，假如是編造出來的，編它的人怎麼能讓君主的出身低於臣下呢？因此，劉裕這份家譜雖然很長，也不易查考，但很可能是真的。至少，不應是劉裕或其心腹偽造的。
也許有人會覺得奇怪：當時怎麼會有這麼多漢室宗親呢？這大概和古代交配權分布不均衡有一定關係。大自然給人類定下的男女出生比例大致是1∶1，但人類在自行分配的時候，常常不按這個比例行事。
早在周武王的弟弟姬旦製定《周禮》時，給天子定下的配額就已經相當可觀：“天子立一後、三夫人、九嬪、二十七世婦、八十一禦妻”，比例是1∶121！一個健康的成年男子，即使別的什麼事都不幹，把全部精力投入“造人”工作，也不可能讓這麼多“設備”都充分運轉。然而，後世君王們大多具有勇於攀登的精神，認為沒有最高，隻有更高！於是這個數字繼續扶搖直上，最多的如司馬炎、石虎、楊廣、李隆基等擁有的嬪妃宮女數量都超過了萬人（雖然絕大多數並不使用，隻是擺來看的）！而且擁有大量妻妾的並不隻是君主，名門世家、達官顯貴們也在這方麵不甘落後，例如唐末的呂用之，不過是淮南節度使高駢的幕僚，也有小老婆一百多個，足以和周天子比肩！
雖然上層社會對美女的需求量如此之大，但上天並不會因此而增加女孩的出生率，供求之間的巨大缺口必然要有人承擔。所以每當皇宮內院多增加一個苦命宮人或大宅豪門中多一位如夫人時，就意味著貧苦的鄉間又多了一個光棍。在這種機製的作用下，再考慮撫養能力的差異，無疑豪門貴族後代的人口增長率要遠大於貧苦百姓。
為了更直觀地說明這一點，不妨以明朝為例：明洪武二十六年，全國人口總數約為7270萬，到兩百多年後的崇禎年間達到15億（以上兩個數字均出自葛劍雄先生的《中國人口史》，假如按明朝政府的官方統計數字，則明朝人口始終在6000萬上下，一直沒有增加），約增長為原來的2倍。而明朝宗室的數量在洪武十五年為58人，到崇禎年間已超過20萬，在差不多相同的時間內，增長為原來的3400多倍！
從劉邦到劉裕的時間跨度，約是從洪武到崇禎的兩倍，雖然不像明宗室那樣有明確的統計數字，但劉氏宗族在各地繁衍的數量，必然也已經非常可觀。所以我們在看史書時，見某某是某大人物之後的記載，雖然不排除確有冒認的可能性，但如不經分析，簡單地一概認之為非，也是不夠客觀的。