果不出劉邦所料，剛剛離開沛縣縣城不遠，隊伍中便有很多人逃亡。刑徒逃亡的原因，當然是不甘受苦，擔心難以活著回來，不如現在逃亡，也許會有一條生路。況且，當時的破產農民，還有在驪山修墓的刑徒（如黥布），“亡逃山林”者大有人在，有不少人選擇了這條道路。因而劉邦所帶領的刑徒一離開縣城便有多人逃亡，是不足為怪的。
麵對著刑徒出發後的逃亡，劉邦大傷腦筋。
這一天，到了仍屬沛縣管轄的豐邑西邊的湖沼地區，夜幕降臨，大家停下來休息。劉邦心裏有事，睡不著，就坐在那裏一盅又一盅地喝起了悶酒。
以酒澆愁愁更愁。他想，沒有走出沛縣，刑徒已跑掉不少，等到了千裏之外的驪山，還不給全都跑光？按照秦朝的法律，夫役半路逃亡，押送的人要被處以重刑。
他又看了看那些用繩子拴著的刑徒，有的翻來覆去，身體不斷抽搐，痛苦得難以入眠，有的雖然沉沉入睡，可臉上仍掛著淒慘的淚痕，夢中亦發出悲愴的呻吟。這些人，誰沒有年邁的父母、受苦的妻子和嬌小的兒女？如今背井離鄉，去服苦役，以後能活著回來的會有幾個？
想到這裏，劉邦不由生發出對秦始皇的怨恨：你不該為了個人的私欲，荼毒天下的生靈。他想到自己為無道的秦王朝效命，是在助紂為虐，既會遭到沛縣父老的唾罵，到了驪山，又難保住性命，與其自投羅網，跳入火坑，不如跟上大夥兒一起逃命。
主意打定，劉邦把躺著的刑徒全部喊起來，解開了拴在他們身上的繩索，說道：“你們去驪山做苦工，不是被累死，就是被打死，即使僥幸活下來，也不知哪年哪月才能返鄉，幹脆，我把你們全都釋放回家。”
刑徒們猛的一聽，一個個驚得目瞪口呆，半晌無人吭聲。劉邦見大夥兒沒有反應，又解釋說：“從現在起，你們各奔東西，自謀活路吧！”
這一下，大夥兒全聽清楚了，有的欣喜若狂，有的卻半信半疑。一個平時很有心計的人，小心翼翼地問劉邦：“你把我們放走了，自己怎麼回去給官府交差？”
劉邦苦笑著搖搖頭，說：“我還回去交個什麼差？等你們都走了，我也要找個地方躲起來。”
刑徒們見劉邦果是出於一片真心，很快就走掉了一大批。有十幾個年輕力壯的小夥子，為劉邦的俠義行為所感動，堅決要求跟隨劉邦闖江湖，生生死死在一起。劉邦推辭不過，隻好帶上他們一塊走。
劉邦將所押送的刑徒釋放，自己也隨即逃亡，為首者當然是死罪，消息很快便傳到沛縣。私自釋放所押送的全部刑徒，這並非是件小事，若不是在秦帝國行將滅亡的前夕，這事非追究法辦不可。然而，當時的天下動蕩不安，各級地方官員也都是自身難保，如果上報朝廷，按秦法且莫說是沛令，就是泗水郡郡守也要負有不同程度的連帶責任，將受到刑事或行政處分的懲罰，因而從縣令到郡守都是故意裝作不知，沒有把此事上報朝廷。況且，沛縣縣令和縣府中的屬吏如蕭何、曹參等人同劉邦又有著不同程度的密切關係，因而對此事遮掩不提，首犯劉邦亦未被立案追查。
劉邦釋放刑徒後的去向不明，急壞了家中的父母和妻子，特別是他的妻子呂雉。年邁的父母為兒子的下落不明而憂傷，但又無可奈何。父親有時還很生氣，怨他的這個三兒子從小就不聽老人的話，“不事家人生產作業”，在外邊胡鬧，致使有今天的下場，叫老人為他操心，他這也是自作自受。作為同命運的妻子，呂雉與公公的想法和態度不大相同。自從得知丈夫逃亡後，她晝思夜想，坐立不安，在家裏怎麼也呆不住了。於是，呂雉把年幼的女兒、兒子安頓在外婆家中，自己毅然地離開家門，踏上了尋夫的行程。
且說當初劉邦舉目四望，哪裏是自己的棲身之處呢？因而自然地想起秦始皇幾年前東巡時說過的一句話。這位千古少有的始皇帝，雖說是聰明一世，晚年卻又做出了不少糊塗一時的蠢事。他聽信“望氣者”所說的“東南有天子氣”，把這句話掛在自己的嘴邊上，四處宣揚，並且以東遊楚地來鎮壓、製伏這股天子氣。就客觀效果而言，這豈不是替被推翻的六國舊貴族宣揚帝國的江山不穩嗎？怎能不算是秦始皇所做的一件蠢事呢？可以證明這一點的是，劉邦在走出沼澤地後，於迷茫之中受秦皇帝“東南有天子氣”這句話的啟發，舉目遙望南麵那雲霧繚繞的芒山、碭山，心想：前麵莫非就是為自己提供的有天子氣的棲身之處？於是便毫不猶豫地帶領十餘人向芒山、碭山走去。
芒、碭兩山在今安徽省碭山縣東南，芒山縣是沛縣西南方的鄰縣，芒山在北，碭山在南，其間相距僅8裏。芒、碭兩山是蘇北丘陵的東緣，海拔並不太高，但位於低窪的豐沛沼澤地的南沿，其相對高度亦足以稱為這一地區小有名氣的山陵，況且山間有古樹密林，雜草叢生，蜿蜒起伏，於“山澤岩石之間”，不乏匿身之處，可供輾轉棲身。
劉邦進入芒、碭山後，大有絕處逢生之感。匿身於山岩間的風霜雨露之苦，對於出身農家的劉邦和跟隨他的十幾餘名青壯年來說，也算不得什麼。雖然要經常變換住處，東躲西藏，但大家在一起共患此難，倒也是過得無拘無束，整日好不快活。劉邦約束跟隨自己的十餘名弟兄，不可侵犯附近百姓，幹那些打家劫舍、殺人越貨的勾當。這樣一來，十餘人的吃飯問題也是令劉邦傷腦筋的事。真不知他們都是怎樣充饑度日的，史書根本沒有留下有關這方麵的記載。
再說呂雉離開家門之後，一個從未隻身出外的農家少婦，在杳無音訊的情況下四處尋夫，要經受多少辛苦和艱險的磨難？好在她天性“為人剛毅”，在丈夫畏罪逃亡、下落不明的情況下，為了尋夫，她已經不知道天底下有什麼可以阻攔住她前行的艱難險阻。如果尋不到丈夫，自己活在世上還有什麼意思？在這種意念支配之下，呂雉還會有什麼畏懼嗎？
呂雉逢人問路，首先來到豐西澤中亭，再四下打聽，又來到了芒碭山。芒山與碭山蜿蜒數十裏，山高林密，雜草叢生，亂石遍地，終日不見人影，到哪裏去找丈夫？就這樣，呂雉在山中輾轉多日，終於找到了丈夫。
夫妻二人相見於山岩之間，呂雉兩目直視從山岩上走下來的壯年男子，隻見劉邦滿麵胡須，顴骨高突，兩隻比往常更加炯炯有神的大眼睛，把臉龐襯托得更加消瘦，再往下看他那襤褸的衣衫，一路走來時搖搖晃晃的樣子，心裏痛如刀絞，難道這就是分別不久的丈夫嗎？劉邦瞧著妻子那副兩目直視的呆傻神態，又見她那被山風吹亂了的鬢發，樹枝劃破了的衣袖，特別是鬢角上出現的皺紋，痛感妻子怎麼竟會變成這副模樣。二人一時間相對無語，最終還是劉邦首先開口“娥姁（呂雉字娥姁），你是怎麼找到這裏的？”
劉邦這句話，使得妻子再也忍受不住，便撲到丈夫的懷中失聲痛哭起來。
劉邦向妻子詢問家中父母和兒女的情況，妻子一一詳細回答，又問一路上的艱辛，呂雉卻用三言五語把話支吾過去，不肯向丈夫講述她為尋夫所遭受的那些艱辛，生怕丈夫為此而心疼。呂雉問丈夫怎麼竟來到這裏，在這裏生活怎樣，劉邦以與妻子相同的心情，也是沒有多講，妻子聽後心緒穩定下來。
劉邦的匿身之所並非是呂雉的久留之地，她隻在這裏留宿一夜便告辭離開。時隔不久，呂雉又來到山岩，為丈夫送來寒衣，為大家帶來一些食品。此後的一段時間內，呂雉曾多次來芒、碭探望丈夫，劉邦等人匿身於山岩之間，為安全起見，經常變換棲身的地方，行蹤飄泊不定。然而，呂雉每次前來，總是能順利地找到丈夫的藏身之處。
呂雉經常往來於沛縣與芒山、碭山之間，這事怎能瞞得住家鄉的人。時間一久，家鄉的人知道了劉邦沒有遠走，就在西南方的芒山、碭山。呂雉對來到家中詢問劉邦下落的蕭何說了實話，蕭何請呂雉向劉邦捎話，讓他自己多加保重。
劉邦在芒、碭藏身期間，沛縣的子弟以及芒、碭附近的老百姓，或是由於窮困所迫，或是由於犯了法禁逃避官府追緝，或是仰慕劉邦的義氣，紛紛趕到山裏入夥，不長時間，劉邦已擁有一支數百人的武裝。