大將軍衛青是平陽（今山西省臨汾市西南）人，少年時曾在平陽侯家裏做仆人。每次回家，父親便讓他牧羊，而父親前妻的那些兒女也都把他當成奴仆，從來不把他看成兄弟。一次，一個脖子上套著鉗圈的犯人給衛青相了麵，說：“你可是貴人哪，說不定做官可以做到封侯哩！”衛青笑著說：“我是人家的奴婢生的，能夠不受打罵就很滿意了，怎麼可能有做封侯這樣的事呢？”
衛青長大後，成為平陽侯的騎兵，侍從平陽公主。武帝建元二年（公元前139年），衛青的姐姐衛子夫進了皇宮，且受漢武帝的寵幸，還懷上了他的孩子。皇後因沒有生育兒子，非常擔心衛子夫以後搶了自己的位置，皇後的母親便開始對衛家發難，捉拿了衛青，要處死他。衛青的朋友騎郎公孫敖和幾位壯士一起，把衛青從監禁的地方搶了出來，衛青才逃過一劫。武帝通過衛子夫聽說了此事，召見了衛青，任命他為建章監，加侍中官銜。衛子夫後來為武帝生了個兒子，並成為皇後，衛青也提升為大中大夫。
武帝元光五年（公元前130年），衛青、公孫賀、公孫敖、李廣等漢朝將領率兵進攻匈奴。因匈奴實力較強，其它幾位將領都沒有取得大的戰功，隻有衛青的部隊斬殺了幾百名匈奴騎兵，受到武帝的褒獎。兩年後，衛青擔任車騎將軍，率三萬騎兵，從雁門（今山西省右玉縣南）出塞攻打匈奴，殺死了好幾千匈奴將士，有效地遏製了匈奴南犯的氣焰，衛青也被武帝封為長平侯。
武帝元朔五年（公元前124年），武帝命令衛青率三萬騎兵，從高闕（今內蒙古自治區烏拉山西端）出塞，猛攻匈奴，另有多支漢朝部隊配合著他。匈奴右賢王率兵抵禦。他認為漢朝軍隊不可能這麼快地抵達這兒，便在軍營裏飲酒作樂。就在這個晚上，衛青率領的漢朝騎兵如同天兵天將，一下子包圍了右賢王的軍營。驚慌失措的右賢王隻帶了幾百名精壯的騎兵，奮力衝破漢朝軍隊的包圍，向北逃跑。因路途熟悉，最後得以逃脫，但匈奴的一萬五千多名士卒、右賢王的十幾名將領悉被漢朝軍隊俘虜，成千上百頭牲畜悉歸漢朝所有。衛青率兵回朝，剛入了關塞，武帝就派使者拿著大將軍的官印，當場在軍中任命衛青為大將軍，各位將軍都率領著各自的部隊歸大將軍衛青指揮。衛青進見武帝時，武帝又加封了衛青，擴大衛青原有的封地。武帝還想給衛青的幾個兒子封侯，被衛青謝絕。衛青誠懇地說：“我有幸在軍中任職，有賴於陛下的神靈，進攻匈奴取得大捷，但這都是各位將士的功勞。陛下已經加封了我，但我的幾個兒子尚屬年幼，沒有戰功。陛下給他們封侯，這可不是我激勵將士全力作戰的本意！”武帝聽從了衛青的意願。
次年春天，大將軍衛青率諸多將領，帶兵從定襄（今內蒙古自治區呼和浩特市東）出塞，進攻匈奴，斬殺幾千敵兵。隔了一個月，衛青率同一支軍隊再次發起進攻，斬殺匈奴將士一萬多。右將軍蘇建、前將軍趙信的部隊合並後，正麵遭遇了匈奴單於的軍隊，交戰了一天多，漢朝軍隊即將全部陣亡。趙信是匈奴人，在匈奴軍隊的誘降下，率八百騎兵投奔了單於，蘇建在全軍覆沒後隻身回到衛青那兒。有人提議處死蘇建，但衛青聽取了眾人的意見後，認為蘇建麵對幾倍於自身的強敵，將士全部陣亡的情況下仍未叛逆，不應處死。衛青後來把蘇建帶回京城，交給武帝，並力保蘇建的生命。