霍光的姨母衛子夫是劉徹的皇後，舅父是大將軍衛青，衛青是衛子夫的弟弟、劉徹的妹夫。同父異母的哥哥霍去病是戰功赫赫的漢家大將軍。霍光自然是皇親國戚了。不過他這個外戚身份卻是從天而降。
霍光出生在河東郡的一個小縣城裏。老父霍仲孺，早年在平陽侯曹壽家當家奴。平陽侯的妻子平陽公主有兩個婢女，一個叫衛少兒，一個叫衛子夫，兩人是親姊妹。霍仲孺和衛少兒私通生了個兒子叫霍去病。大概是這個原因，霍仲孺被趕出了平陽侯府，留下霍去病由母親衛少兒撫養長大。劉徹繼位初，朝政掌握在祖母竇太後手裏。他無事可做，鬱鬱寡歡，就經常到姐姐平陽公主家裏去玩。在一次家庭舞會上他被衛子夫的美貌和舞技傾倒，一見鍾情地愛上了這個婢女。平陽公主投其所好，把衛子夫送進宮裏。衛子夫深得劉徹的喜愛，引起了皇後陳嬌的妒忌，想用陰謀毒死衛子夫。
事情敗露，劉徹一怒之下廢了陳嬌，衛子夫由此當上了皇後。衛子夫當了皇後以後，把弟弟衛青調進了宮。劉徹發現衛青有率兵之才，就封衛青為車騎將軍。衛青出擊匈奴屢立戰功，被劉徹破格提升為大將軍、大司馬。衛青經常帶外甥霍去病北征。霍去病有勇有謀，經常克敵製勝，很快被劉徹封為驃騎將軍，級別僅次於大將軍衛青。霍去病在一次班師回朝的途中聽說自己的生身父親霍仲孺流落在河東郡，而且又有了個異母弟弟，就請父親和弟弟來見。霍去病見弟弟霍光年齡不大卻長得人高馬大、氣宇不凡，遂將他帶進了京城，認了姨母衛皇後和舅舅衛青。霍光由此成了皇親國戚。
有一天，衛青突然對霍光說皇上要召見他，霍光當時嚇得膽戰心驚，他一個鄉下孩子怎麼敢受皇帝召見呢？衛青安慰霍光說：“別看皇上赫聲威震，大臣們畏君如虎，但對小孩子們可好了。金日磾的兒子金賞、金建都是他的好朋友。他聽說你是從鄉下來的又是皇後和我的外甥，決定見見你。”
兩人進到劉徹的寢宮，霍光站在宮門口不敢進去。衛青鼓勵他：“有我在，別怕。”劉徹在裏麵聽到外麵有人說話，知道是衛青和霍光來了，傳出話來：“還愣在那裏幹什麼，快進來呀！”
劉徹一見霍光就喜歡上了這個壯小夥子，遠遠就招著手讓霍光走近他，並拉著霍光和他並肩坐在一起。霍光感動得涕淚泗流，趴在地上連連磕頭。從那時他就暗下決心要為皇帝鞠躬盡瘁，報效朝廷。劉徹當時想留霍光在身邊，霍光卻要求隨舅舅一起出征去掃蕩匈奴。劉徹欣賞霍光的鴻鵠之誌，批準了他的要求，封他為軍前都尉，隨大軍北征。經過幾個戰役，衛青看外甥不僅是個將才還是個帥才，就把屬下的一支輕騎部隊交給了霍光。在定襄的一場惡戰中，匈奴的部隊被擊潰向西北逃走，霍光帶著輕騎部隊窮追。追到定襄北二百裏處遇到一條峽穀，霍光懷疑敵人會在這裏設下埋伏，就派幾個士兵化裝成匈奴兵去偵察。當時因為天黑，偵察兵沒有發現匈奴的伏兵，回來報告後霍光就驅兵前進。
可是剛進入峽穀，就被匈奴伏兵包圍，霍光和將士們拚力廝殺，終是寡不敵眾，眼看就要全軍覆沒。霍光對將士們說：“為皇上盡忠的時候到了，大家寧死也不要當俘虜。”他們拋下馬匹與敵兵展開了肉搏戰。峽穀裏突然卷起了暴風，漫天沙塵，敵我難分。霍光暗暗傳令，漢軍袒右臂為標記，隻虛張聲勢不可戀戰。匈奴兵分不清哪是自己人哪是漢兵，亂馬馳騁，自己把自己人踩死大半，不得不撤兵。霍光率僅剩的一半部隊乘勝追擊，直把匈奴兵趕到漠北。這場轉敗為勝的戰役震動了朝廷，劉徹親率滿朝文武大臣到京城外迎接霍光班師回朝。當劉徹看到盔甲破碎、渾身帶傷的霍光時，不顧自己的身份，拋開跟隨他的大臣撲過去抱住了霍光，感慨地說：“我的兩個外甥(霍去病和霍光)都是好樣的。”