高祖是沛郡豐邑縣中陽裏人，姓劉，字季。他的父親是太公，母親是劉媼（ǎo，襖）。高祖未出生之前，劉媼曾經在大澤的岸邊休息，夢中與神交合。當時雷鳴電閃，天昏地暗，太公正好前去看她，見到有蛟龍在她身上。不久，劉媼有了身孕，生下了高祖。
高祖這個人，高鼻子，一副龍的容貌，一臉漂亮的胡須，左腿上有七十二顆黑痣。他仁厚愛人，喜歡施舍，心胸豁達。他平素具有幹大事業的氣度，不幹平常人家生產勞作的事。到了成年以後，他試著去做官，當了泗水亭這個地方的亭長，對官署中的官吏，沒有不加捉弄的。他喜歡喝酒，好女色。常常到王媼、武負那裏去賒酒喝，喝醉了躺倒就睡，武負、王媼看到他身上常有龍出現，覺得這個人很奇怪。高祖每次去買酒，留在店中暢飲，買酒的人就會增加，售出去的酒達到平常的幾倍。等到看見了有龍出現的怪現象，到了年終，這兩家就把記帳的簡劄折斷，不再向高祖討帳。
高祖曾經到鹹陽去服徭役，有一次秦始皇出巡，充許人們隨意觀看，他看到了秦始皇，長歎一聲說：“唉，大丈夫就應該象這樣！”
單父（ｓｈàｎｆǔ，善甫）人呂公與沛縣縣令要好，為躲避仇人投奔到縣令這裏來作客，於是就在沛縣安了家。沛中的豪傑、官吏們聽說縣令有貴客，都前往祝賀。蕭何當時是縣令的屬官，掌管收賀禮事宜，他對那些送禮的賓客們說：“送禮不滿千金的，讓他坐到堂下。”高祖做亭長，平素就看不起這幫官吏，於是在進見的名帖上謊稱“賀錢一萬”，其實他一個錢也沒帶。名帖遞進去了，呂公見了高祖大為吃驚，趕快起身，到門口去迎接他。呂公這個人，喜歡給人相麵，看見高祖的相貌，就非常敬重他，把他領到堂上坐下。蕭何說：“劉季一向滿口說大話，很少做成什麼事。”高祖就趁機戲弄那些賓客，幹脆就坐到上座去，一點兒也不謙讓。酒喝得盡興了，呂公於是向高祖遞眼色，讓他一定留下來，高祖喝完了酒，就留在後麵。呂公說：“我從年輕的時候就喜歡給人相麵，經我給相麵的人多了，沒有誰能比得上你劉季的麵相，希望你好自珍愛。我有一個親生女兒，願意許給你做你的灑掃妻妾。”酒宴散了，呂媼對呂公大為惱火，說：“你起初總是想讓這個女兒出人頭地，把他許配給個貴人。沛縣縣令跟你要好，想娶這個女兒你不同意，今天你為什麼隨隨便便地就把她許給劉季了呢？”呂公說：“這不是女人家所懂得的。”終於把女兒嫁給劉季了。呂公的女兒就是呂後，生了孝惠帝和魯元公主。
高祖做亭長的時候，經常請假回家到田裏去。有一次呂後和孩子正在田中除草，有一老漢從這裏經過討水喝，呂後讓他喝了水，還拿飯給他吃。老漢給呂後相麵說：“夫人真是天下的貴人。”呂後又讓他給兩個孩子相麵，他見了孝惠帝，說：“夫人所以顯貴，正是因為這個男孩子。”他又給魯元相麵，也同樣是富貴麵相。老漢走後，高祖正巧從旁邊的房舍走來，呂後就把剛才那老人經過此地，給她們看相，說他們母子都是富貴之相的情況，原原本本地告訴了高祖。高祖問這個人在哪，呂後說：“還走不遠。”於是高祖就去追上了老漢，問他剛才的事，老漢說：“剛才我看貴夫人及子女的麵相都很像您，您的麵相簡直是貴不可言。”高祖於是道謝說：“如果真的象老人家所說，我決不會忘記你的恩德。”等到高祖顯貴的時候，始終不知道老漢的去處。