在西漢十一帝中，除開國皇帝漢高祖劉邦“興於布衣”外，其餘嗣位之君，唯有漢宣帝有與乃祖劉邦相似的閭裏生活經曆。宣帝早年的遭遇及在民間的生活經曆，加之本人性喜遊俠，兼具“儒生”氣質，因而對百姓疾苦及吏治得失有所了解，對其一生性格的形成，即位後的施政方針，以及政局走向皆有深刻的影響。
宣帝幼年生活可謂多災多難，由於巫蠱之禍的爆發，其祖父母衛太子與史良娣，父親史皇孫、母親王翁須，或自殺，或死於獄中。是時宣帝方生數月，也不免牢獄之災，“坐收係郡邸獄。”時為廷尉監的丙吉“治巫蠱於郡邸，憐曾孫之亡辜，使女徒複作淮陽趙征卿、渭城胡組更乳養，私給衣食發，視遇甚有恩。”宣帝在吉丙的庇護下，度過五年的獄中生活。出獄後，治獄使者丙吉“憐皇曾孫無所歸，載以付史恭（史良娣之兄）。恭母貞君年老，見孫孤，甚哀之，自養視焉。”由老邁的太祖母撫養年幼的宣帝，其困窘之境可想而知。
宣帝處境真正有所改善，則是在“有詔掖庭養視，上屬籍宗正”之後。“掖庭養視”，可以保證宣帝衣食無憮；而“上屬籍宗正”，則是正式承認宣帝的皇室身份。漢宗正始設於高祖七年（前200），其目的為“以序九族”，以保證劉氏血統的純正。在處理與劉氏宗室相關事宜中，宗正是一個不可或缺的角色。如昭帝始元元年，大將軍霍光聞燕王劉旦圖謀不軌，遣宗正與太中大夫公戶滿意及侍禦史兩人同至燕國“風諭”劉旦。宗正職掌宗室事務，於是見劉旦時“為陳道昭帝實武帝子狀”，以消除劉旦“我安有弟在者”的疑惑，凡此可以證明宗正在處理劉氏宗室事務中的重要作用。宣帝屬籍於宗正，對於最終取得皇位是至關重要的因素。
宣帝究竟何時“有詔掖庭養視，上屬籍宗正”，史載不一，據《漢書·外戚傳》，宣帝“積五歲乃遭赦”，並由太祖母貞君撫養一段時間後，方“有詔掖庭養視，上屬籍宗正”，按時間推測，應在昭帝年間。然而，據《漢書·丙吉傳》，光祿大夫丙吉議立宣帝時有“遺詔所養武帝曾孫名病已在掖庭外家者”雲雲，所謂“遺詔”，當是指武帝之“遺詔”。又據《漢書·霍光傳》，霍光與丞相張敞聯名奏請立劉詢為帝時明確曰：“孝武皇帝曾孫病已，武帝時有詔養於掖庭”。顯然，丙吉、霍光等人堅持認為武帝時就有“遺詔”養宣帝於掖庭，上屬籍於宗正，無非是為擁立宣帝提供一個權威的解釋，所謂“《禮》曰：‘人道親親故尊祖，尊祖故敬宗。’大宗（指昭帝）亡嗣，擇支子孫賢者為嗣。”正是出於這樣的政治目的，故將宣帝“有詔掖庭養視，上屬籍宗正”，歸結於武帝之“遺詔”。
但是，對是時宣帝而言，其詔出於武帝還是昭帝並不重要，重要的是“有詔掖庭養視，上屬籍宗正”，標誌宣帝的身份發生根本性改變，從一“得罪先帝”的“罪人”的後嗣，不僅恢複了劉氏宗親的身份，並且可以居住於長安城中的尚冠裏。尚冠裏是當時權貴的一個居住區，霍光兄孫霍雲在尚冠裏就有住宅。更為幸運的，是時的掖庭令張賀嚐事戾太子，巫蠱之禍時坐罪當誅，因其兄張安世上書求情“得下蠶室。後為掖庭令，而宣帝以皇曾孫收養掖庭。賀內傷太子無辜，而曾孫孤幼，所以視養拊循，恩甚密焉。及曾孫壯大，賀教書，令受《詩》，為取許妃，以家財聘之”。這段養於掖庭的經曆，對宣帝遊俠習性與儒生氣質性格的形成具有重要的意義。《漢書》卷8《宣帝紀》載：
受《詩》於東海澓中翁，高材好學，然亦喜遊俠，鬥雞走馬，具知閭裏奸邪，吏治得失。數上下諸陵，周遍三輔，常困於蓮勺鹵中。尤樂杜、鄠之間，率常在下杜。時會朝請，舍長安尚冠裏，身足下有毛，臥居數有光耀。每買餅，所從買家輒大讎。亦以是自怪。
所謂“遊俠”，司馬遷將之曾概括為：
《韓子》曰：“儒以文亂法，而俠以武犯禁。”二者皆譏，而學士多稱於世雲。至如以術取宰相卿大夫，輔翼其世主，功名俱著於《春秋》，固無可言者。及若季次、原憲，閭巷人也，讀書懷獨行君子之德，義不苟合當世，當世亦笑之。故季次、原憲終身空室蓬戶，褐衣疏食不厭。死而已四百餘年，而弟子誌之不倦。今遊俠，其行雖不軌於正義，然其言必信，其行必果，已諾必誠，不愛其軀，赴士之厄困，既已存亡死生矣，而不矜其能，羞伐其德，蓋亦有足多者焉。