這時，他想到了劉據的家臣---張賀。於是按例由掖庭令張賀將劉病已接回長安看管照顧，在這裏他遇到了第二及第三個恩人——掖庭令張賀與嗇夫許廣漢。
當時的掖庭令張賀曾經為太子劉據所用，深知太子為人寬厚，念及舊恩，對劉病已倍加關懷照顧。
而張賀因公務上的事，又沒辦法經常在劉病已身邊，出於安全考慮，便讓一個曾擔任過掖庭丞、現已被貶任為暴室嗇夫的許廣漢來照顧他。
許廣漢本是昌邑人，年輕時曾在老昌邑王劉髆手下當郎官。
這時許廣漢已經調到宮中來了。有一次許廣漢侍候漢武帝上甘泉宮去，誤取了其他郎官的馬鞍裝在自己的馬背上，被發現了，於是有司彈劾他是從駕行盜，罪當處死。
漢武帝下詔改判他宮刑。許廣漢受了宮刑，就入宮做了宦者丞，相當於後代的總管太監一類的宦官小頭目，這也是宦官才能擔任的官職，就象張賀擔任的掖庭令，司馬遷擔任的中書令。
後來昭帝的時候上官桀謀反，朝廷預先準備了幾千條幾尺長的繩索用來捆綁抓獲的謀反者，秘密地裝在一口緘封得很嚴密的大箱子裏，藏在殿中的廬舍之內。
許廣漢奉命去取繩索，卻沒有找到裝繩索的箱子，反而是其他人很輕易地就找到了箱子和所有的繩索。
這其中頗多蹊蹺，也許有同僚嫁禍的可能，但許廣漢卻無從分辯。於是許廣漢以失職坐罪罰為“鬼薪”，也就是一種罰做三年苦役的徒刑。
後來他便被送到掖庭中來，主管染織的官署“暴室”，做一名“嗇夫”（也就是佐史）。
嗇為穡的初文﹐嗇夫本義為收獲莊稼之人。作為一種官職，是一類接近農夫的下層官吏。戰國時有些國家縣邑之長或稱嗇夫。秦漢時，嗇夫都是某一地區或部門的主事者，嗇夫實指一種頭目之意，暴室是漢代官署名，屬掖庭令管，其職責是織作染練，故取暴曬為名。
宮中婦女有病及皇後、貴人有罪，都幽禁於此室，從事織染工作，故又稱暴室獄。其本身並不是監獄，隻是有監管的職責。而許廣漢就是這個暴室的監管負責人，有點類似於典獄長的身份。
許廣漢為人仗義，和張賀同在一個部門工作，是張賀的下屬。因兩人比較對脾味，又有著相似的經曆，彼此之間便都很關照對方，漸漸地成了莫逆之交。
於是，張賀出於安全考慮，不得已之下，隻能把劉病已送到了這裏。張賀還用自己的錢供養病已讀書。這樣，病已也算是受到了正常的教育。
為了照顧劉病已，許廣漢便把劉病已安置到自己的宿舍，因此兩人成了舍友。卻不想相處日長後，劉病已因自小便失去親人的照顧，對許廣漢產生了很強烈的依賴感情。
後來，為了讓劉病已有個更好的歸宿，幾經努力，邴吉終於打聽到劉病已的曾外祖母貞君仍健在，於是劉病已在邴吉的護送下去了曾外祖母家，貞君看到自己女婿唯一的血脈後非常激動，不顧年老體衰盡心撫養。
可是，貞君家境貧寒，對劉病已也難以照顧周全，許廣漢與張賀便時常接濟他們。
自此之後，劉病已便隨著自己的曾外祖母，生活在長安城南的尚冠裏。（長安城中裏社的名稱，“裏”和“社”是秦漢時代的居民社會單位，相當於後世的“坊”）
但劉病已對許廣漢的依賴感依然很強，所以，一有空就往石野村裏跑，漸漸地，這裏也就成了他的第二個“家”。
劉病已就這樣在民間漸漸長大，在他十幾年的少年歲月裏，作為武帝的嫡皇曾孫，卻沒有享受過一天皇宮的奢華生活，反而在這樣平凡的成長環境中，使他學會了很多嬌貴的貴族子女所學不到的東西。