既而出都東下，回縣銷差，仍去做泗上亭長。約莫過了好幾年，邦年已及壯了，壯猶無室，免不得悵及鰥居。況邦原是好色，怎能忍耐得住？好在平時得了微俸，除沽酒外，尚有少許餘蓄，遂向娼寮中尋花問柳，聊做那蜂蝶勾當。裏人豈無好女？隻因邦向來無賴，不願與婚。邦亦並不求偶，還是混跡平康，隨我所欲，費了一些纏頭資，倒省了多少養婦錢。
會由蕭何等到來晤談，述及單父單音善，父音斧。縣中，來了一位呂公，名父字叔平，與縣令素來友善。此次避仇到此，挈有家眷，縣令顧全友誼，令在城中居住，凡為縣吏，應出資相賀雲雲。邦即答道：“貴客辱臨，應該重賀，邦定當如約。”說畢，大笑不止。已寓微旨。何亦未知邦懷何意，匆匆別去。越日，邦踐約進城，訪得呂公住處，昂然徑入。蕭何已在廳中，替呂公收受賀儀，一見劉邦到來，便宣告諸人道：“賀禮不滿千錢，須坐堂下！”明明是戲弄劉邦。劉邦聽著，就取出名刺，上書賀錢盈萬，因即繳進。當有人持刺入報，呂公接過一閱，見他賀禮獨豐，格外驚訝，便親自出迎，延令上坐。端詳了好一會兒，見他日角鬥胸，龜背龍股，與常人大不相同，不由的敬禮交加，特別優待。蕭何料邦乏錢，從旁揶揄道：“劉季專好大言，恐無實事。”呂公明明聽見，仍不改容，待至酒肴已備，竟請邦坐首位。邦並不推讓，居然登席，充作第一位嘉賓。大眾依次坐下，邦當然豪飲，舉杯痛喝，興致勃然。到了酒闌席散，客俱告辭，呂公獨欲留邦，舉目示意。邦不名一錢，也不加憂，反因呂公有款留意，安然坐著。呂公既送客出門，即入語劉邦道：“我少時即喜相人，狀貌奇異，無一如季，敢問季已娶婦否？”邦答稱尚未。呂公道：“我有小女，願奉箕帚，請季勿嫌。”邦聽了此言，真是喜從天降，樂得應諾。當即翻身下拜，行舅甥禮，並約期親迎，歡然辭去。呂公入告妻室，已將娥許配劉季。娥即呂女小字，單名為雉。呂媼聞言動怒道：“君謂此兒生有貴相，必配貴人，沛令與君交好，求婚不允，為何無端許與劉季？難道劉季便是貴人麼？”呂公道：“這事非兒女子所能知，我自有慧鑒，斷不致誤！”呂媼尚有煩言，畢竟婦人勢力，不及乃夫，隻好聽呂公備辦妝奩，等候吉期。轉瞬間吉期已屆，劉邦著了禮服，自來迎婦。呂公即命女雉裝束齊整，送上彩輿，隨邦同去。邦回轉家門，迓女下輿，行過了交拜禮，謁過太公劉媼，便引入洞房。揭巾覷女，卻是儀容秀麗，豐采逼人，不愧英雌。頓時惹動情腸，就攜了呂女玉手，同上陽台，龍鳳諧歡，熊羆葉夢。過了數年，竟生了一子一女，後文自有表見，暫且不及報名。
隻劉邦得配呂女，雖然相親相愛，備極綢繆，但他是登徒子一流人物，怎能遂不二色？況從前在酒色場中，時常廝混，免不得藕斷絲連，又去閑逛。湊巧得了一個小家碧玉，楚楚動人，詢明姓氏，乃係曹家女子，彼此敘談數次，竟弄得郎有情，女有意，合成一場露水緣，曹女卻也有識。她卻比呂女懷妊，還要趕早數月，及時分娩，就得一男。裏人多知曹女為劉邦外婦，邦亦並不諱言，隻瞞著一個正妻呂雉，不使與聞。已暗伏呂雉之妒。待呂氏生下一子一女，曹女尚留住母家，由邦給資贍養，因此家中隻居呂婦，不居曹妾。
邦為亭長，除乞假歸視外，常住亭中。呂氏但挈著子女，在家度日。劉家本非富貴，隻靠著幾畝田園，作為生活，呂氏嫁夫隨夫，暇時亦至田間刈草，取做薪芻。適有一老人經過，顧視多時，竟向呂氏乞飲。呂氏憐他年老，回家取湯給老人，老人飲罷，問及呂氏家世，呂氏略述姓氏，老人道：“我不意得見夫人，夫人日後必當大貴。”呂氏不禁微哂，老人道：“我素操相術，如夫人相貌，定是天下貴人。”當時何多相士。呂氏將信將疑，又引子至老人前，請他相視，老人撫摩兒首，且驚且語道：“夫人所以致貴，便是為著此兒。”又顧幼女道：“此女也是貴相。”說畢自去。適值劉邦歸家，由呂氏具述老人言語，邦問呂氏道：“老人去了，有多少時候？”呂氏道：“時候不多，想尚未遠。”邦即搶步追去，未及裏許，果見老人躑躅前行。便呼語道：“老丈善相，可為我一看否？”老人聞言回顧，停住腳步，即將邦上下打量一番，便道：“君相大貴，我所見過的夫人子女，想必定是尊眷。”邦答聲稱是。老人道：“夫人子女，都因足下得貴，嬰兒更肖足下，足下真貴不可言。”邦喜謝道：“將來果如老丈言，決不忘德！”老人搖首道：“這也何足稱謝。”一麵說，一麵轉身即行，後來竟不知去向。至劉邦興漢，遣人尋覓，亦無下落，隻得罷了。惟當時福運未至，急切不能發跡，隻好暫作亭長，靜待機會。