劉邦元配妻子是呂雉，當時劉邦已經快30歲，可以稱得上是晚婚了。史書記載，劉邦與呂雉結婚以前，他曾與一位姓曹的女人同居，生下一子，就是劉肥，後被劉邦封為齊王，即《史記·高祖本紀》所載：
“子肥為齊王，王七十餘城，民能齊言者皆屬齊。”
這位姓曹的女人情況如何，史書無載。
劉邦的另一位妻子薄姬，生子叫劉恒。薄姬之父是吳人，係其父與魏媼私通而生。魏豹為魏王，魏媼將薄姬獻給魏豹。魏豹被韓信消滅之後，劉邦見薄姬楚楚動人，將薄姬收入後宮，但劉邦妻妾成群，美女如雲，應接不暇，竟把薄姬給忘了，如此一年有餘。
一天，劉邦看到寵姬管夫人與趙子兒相視而笑，默默不語，劉邦怪問其故。
兩人稟告說：“我們與薄姬曾經對天發誓，‘苟富貴，無相忘’。”劉邦這才想起這位不幸的女人，立即召見薄姬，再三撫慰。
薄姬告訴劉邦：“昨晚我做了一個夢，夢見有條龍盤在我的胸上，今日喜得大王召見。”
劉邦說：“這是顯貴之兆，我今晚成全你！”
薄姬因此得與劉邦一夜同床共枕，生下了劉恒。薄姬與劉邦隻是一夜夫妻，不久就難以得到劉邦的親近。
劉邦平定陳豨，殺死韓王信回來，認為把代地和趙地一並封給劉如意，不便管理，又把代地分為一國，詔令下臣推薦代王。
燕王盧綰和相國蕭何等33人上書推薦劉恒，聲稱劉恒賢智溫良。劉邦因此封劉恒為代王。當時劉恒隻有8歲。薄姬因此跟著8歲的兒子去了代國。劉恒後來成為皇帝，號漢孝文皇帝，即人們習慣上稱的漢文帝。
劉邦的另一位妻妾趙姬，生子叫劉長。劉邦平定英布之時，封劉長為淮南王。
趙姬是劉邦妻妾中最為不幸的人之一。
漢八年(公元前199年)，劉邦率師平定韓王信殘部，路過趙都邯鄲，趙王張敖獻趙姬侍寢。貫高等人刺殺劉邦之事暴露，趙姬也一起被捕。趙姬向獄吏哭訴，她身上有劉邦骨肉。獄吏報告之後，劉邦正在氣頭上，未予理會。趙姬之弟又打通辟陽侯審食其的關節，報告了呂後。呂後天性嫉妒，不肯報告劉邦。趙姬獄中生下一個男孩，氣憤不過，自殺而死。獄吏抱著孩子去見劉邦，劉邦頓生悔意，令呂後撫養，取名劉長。
劉邦的妻妾很多，但是有名有姓史書詳加記載的隻有呂雉一人，其餘隻知其姓或名的有曹氏、戚姬、薄姬、趙姬、管夫人、趙子兒等七人。
劉邦共有8個皇子：
長子劉肥，曹氏所生；被封齊王，即齊悼惠王，為分封同姓王中土地最廣和人口最多之人。
太子劉盈，呂雉所生，為漢高祖劉邦繼承人，號漢惠帝。
寵子劉如意，戚姬所生，9歲立為代王，10歲立為趙王；後與其母戚姬一起被呂後虐殺。
劉恒，薄姬所生，8歲封代王，後被大臣立為漢文帝。
劉長，其母趙姬，被封為淮南王。
劉友，不知其母，被劉邦封為淮陽王。
劉恢，不知其母，被劉邦封為梁王。
劉建，不知其母，被劉邦封為燕王。
劉如意、劉友、劉恢被呂後害死；劉建病死，其獨生子被呂後殺害。
能夠與太子劉盈爭奪帝位之人，就是寵子劉如意。
劉如意的母親，是劉邦最為寵幸之人。劉邦娶戚姬，也具有傳奇色彩。
漢二年(公元前205年)四月，劉邦兵潰彭城，匹馬單身，被雍齒追得狼狽不堪。整整逃了一天一夜，劉邦單身來到一個村莊，已是夜深人靜。劉邦人困馬乏，又饑又渴，實在難以忍耐，隻要能吃上一陣酒飯，馬上將他殺頭，大概也無所謂。
他不顧一切，敲開了一村民之門，裏麵走出一位老翁，劉邦忙去詢問村中有無兵馬。
老翁看到劉邦身披金甲，舉止不凡，忙答：“村中沒有人馬，不知足下何方貴人？”
劉邦也不隱瞞，將自己的情況說了一番，請求借宿一夜，乞食一餐。
老翁聽說，急忙請進，忙說：“老夫不知漢王大駕光臨，有失迎接！”立即拜跪。
劉邦跟著老翁進到屋裏，老翁忙送水沏茶，令人升火煮飯。不一時，劉邦酒足飯飽，精神大振，詢問老翁情況。
老翁說：“此村喚做戚家村，數百人家都姓戚，兵荒馬亂，難以度日。”
劉邦說：“老丈可有兒子？”
劉邦雖然隻吃了一頓粗茶便飯，但是滋味好得很，他準備封這老漢的兒子一官半職。
老漢說：“老漢隻有一女，年方二九；雖是荒村民女，倒是知書識理。前些日子有一相士說小女天生貴相，日後定配王侯之人。漢王如果不棄，老夫願叫小女侍奉大王。”