漢武帝對衛青是放手任用的，衛青能統率漢朝的精兵強將馳騁大漠南北立下赫赫戰功就是明證；漢武帝拜衛青大將軍、大司馬，位在丞相之上，並且是武帝所封列侯中封戶最多的，後來武帝下詔衛青與丈夫已死的其姊平陽公主（陽信長公主）結為夫妻。衛青是武帝時地位最高的親上加親的大臣。然而，武帝對衛青卻加以種種限製，姑且不說武帝加封衛青為大司馬僅僅是個榮譽性的虛銜，並無實權，就是平時在朝政問題上也並不讓衛青插手。《漢書》卷92《遊俠傳》載徙豪俠茂陵時，郭解“貧，家產不夠遷徙條件，吏恐懼，不敢不徙。”衛青說：“郭解家貧，不中徙。”武帝說：“郭解作為布衣平民，權致使將軍，此其家不貧。”結果，把郭解徙至關中。可見武帝為貫徹自己的意圖，並不照顧衛青的麵子。《史記》卷112《平津侯主父列傳》載，武帝元光元年，主父偃“以為諸侯莫足遊者，乃西入關見衛將軍。衛將軍數言上，上不召。資用乏，留久，諸公賓客多厭之，乃上書闕下。朝奏，暮召入見。所言九事，其八事為律令。”為什麼主父偃通過衛青數次想見武帝，武帝就是不召見呢？為什麼主父偃自己早上上書武帝，傍晚武帝就加以召見呢？這個道理《史記》卷111《衛將軍驃騎列傳》最後講的是很明白的，內雲：
太史公曰：蘇建語餘曰：“吾嚐責大將軍至尊重，而天下之賢大夫毋稱（不稱讚）焉，願將軍觀古名將所招選擇賢者，勉之哉。”大將軍謝曰：“自魏其（竇嬰）、武安（田）之厚賓客，天子常切齒。彼親附士大夫，招賢絀（黜）不肖者，人主之柄（權）也。人臣奉法遵職而已，何與招士！”驃騎亦仿此意，其為將如此。
太史公引述蘇建與衛青的對話把問題講明白了，蘇建對他說：“我曾經責備大將軍過分嚴肅，而天之賢士大夫不稱讚，希望大將軍仿效古代名將招賢進士的樣子以自勉。大將軍答謝我的勸勉說：自竇嬰、田厚交賓客，天子對此常切齒嫌惡。所以，那些親附士大夫，招納賢才罷黜不肖者的事情，是人主的權柄。當臣下的隻要遵法守職就可以了，為什麼要招賢納士！”這就是說在武帝心目中招賢納士這類事情是皇帝的權柄，不能下移臣下，所以他對竇嬰、田等人厚交賓客之事常常切齒嫌惡！了解這一點，就可以明白漢武帝為什麼不接受衛青不遷徙郭解和推薦主父偃的建議了，這就是防止衛青結交豪俠、士人而不守臣道。衛青、霍去病也以竇嬰、田為前車之鑒，“奉法遵職”而謹守臣道。不僅如此，元狩五年（公元前119年）漠北大戰之後，武帝令衛青、霍去病“皆為大司馬”，二人“秩祿（俸祿）”相等。“自是之後，大將軍青日退，而騾騎（霍去病）日貴”，而原大將軍的故人、門下多數去了驃騎將軍霍去病的門下作事，而且常常得到官爵。相反，大將軍衛青的勢力就一天天走向衰落。這樣，漢武帝通過提拔霍去病，客觀上就使衛青遭到貶抑，這也應視為武帝限製衛青的一種措施。
在上述情況下，衛青並無怨恨武帝之意，司馬遷說“大將軍為人仁善退讓，以和柔自媚於上”。這裏所謂“仁善退讓”合理推理是說衛青將軍不為個人而爭名奪利，能善良而謙謹退讓，這不恰恰是一種可貴的美德嗎？至於說“以和柔自媚於上”，這明顯是一種貶義詞，合理的推理是說衛青迎合、討好武帝。從《史記》《漢書》有關記載來看隻有一條事實符合這一論斷。元朔六年（公元前123年）衛青兩次出定襄擊匈奴之後，武帝賞賜他千金，當時王夫人受武帝寵幸，有個叫寧乘的人對他說“今王夫人幸而宗族未富貴，願將軍奉所賜千金為王夫人親（母親）壽。”衛青拿出五百金當了壽禮。武帝問起這件事時，衛青以實相告，武帝於是拜寧乘為東海都尉。這件事的確是為討好武帝，然而這件事並不危害別人。況且衛青是皇後的弟弟，個人出身卑賤，衛青的一切都是武帝給的。因此他不可能沒有感恩圖報的思想，武帝賞賜他千金，他拿出五百金給武帝寵幸的王夫人母親作壽禮，根本就不算問題。至於武帝姊平陽公主嫁他，這是公主自己提出來的，也是武帝的詔命，衛青自己是無法決定的。
這樣說並非說衛青將軍是個完人，沒有缺點。他有缺點、錯誤，根據曆史記載他和李廣將軍有過結，李廣將軍自殺和他有關係，這個問題後麵還要談及，此不述。
2.霍去病。霍去病是皇後衛子夫、衛青之姊衛少兒的兒子，衛青是霍去病的舅舅。霍去病的父親叫霍仲孺，衛少兒先與霍仲孺通，生霍去病。後來衛少兒才做了陳平曾孫詹事陳掌的妻子。霍去病因為是皇後姊的兒子，十八歲當了侍中，侍從皇帝左右，出入宮廷，善騎射，後跟從大將軍，為票姚校尉。元朔六年（公元前123年）衛青率軍兩次出定襄擊匈奴時，霍去病率輕勇騎兵八百追擊匈奴數百裏，斬殺兩千多，武帝說：“票姚校尉，與輕勇騎八百遠離大軍數百裏追殺敵軍，斬捕首虜超過自己統領軍隊的人數，斬單於祖父輩的藉若侯產，捕單於季父（叔父）羅姑，……以二千五百戶封去病為冠軍侯。”同時受封的有上穀太守郝賢為終利侯，騎士孟已為關內侯。