可能還有人對衛家不滿，認為衛青隻是運氣比較好，英勇善戰而已。誰處在衛青的角色，上有皇帝姐夫的信任，內有漢朝積累了五十多年的物資儲備，都能建立一番功業。這樣的觀點把衛青這個人物看得太簡單了。衛青絕對不是一個隻知軍事、不懂權謀的人。
在霍去病嶄露頭角的那次征戰中，右將軍蘇建和前將軍趙信的主力部隊被匈奴大軍打得死傷慘重。趙信本來就是匈奴的降將，戰敗後投降了匈奴；蘇建殺出重圍，隻身一人逃回來向衛青請罪。麵對慘敗，有人要求追究蘇建的責任，認為他“棄軍而逃”；有人建議將蘇建斬首示眾，嚴肅軍紀；也有人認為蘇建盡力後才戰敗的，不應斬首。如果把蘇建殺了，不就是逼著戰敗的將領有家不敢回，反過去投降匈奴嗎？大家爭來爭去，需要衛青拍板定奪。衛青有權力處斬部將，但他沒有殺蘇建。殺蘇建的壞處很明白，會寒一部分將士的心，而且容易給人專橫的感覺，得罪一批人。但是蘇建的確對戰敗負有責任，於是衛青把蘇建用囚車送回長安，交由劉徹處理。結果，劉徹非常滿意衛青有權不專權的舉動，同時赦免了蘇建的死罪，讓蘇家用錢給蘇建贖罪。蘇建雖然被貶為平民百姓，但對衛青感激不盡。
衛青對蘇建的處置，表現出了成熟政治家的風範。衛青發達了，一直保持著謙虛穩重、行事謹慎的作風。當漢武帝要分封他那三個年幼的兒子為侯時，衛青堅決推辭：“我的功勞是全體將士拚死奮戰的結果。我的兒子年紀尚幼，毫無功勞，陛下卻要分割土地封他們為侯，我們父子怎麼敢接受封賞？還是請陛下分賞眾位將士，激勵大家更好地殺敵吧。”漢武帝知道了，封賞了衛青部將公孫敖、公孫賀等人，犒賞將士，同時堅持封衛伉等三人為侯爵。結果，大家皆大歡喜。
由此可見，衛青能夠在短短幾年中威震四海，位極人臣，是有道理的。
有一天，衛青的好朋友甯乘來訪，提醒衛青說：“大將軍之所以食邑萬戶，三個兒子都封侯，主要還是靠皇後的功勞。”接著，甯乘慢慢說道，“任何事情都物極必反。沒有一個家族能夠永遠保持富貴，就好像月亮不會永遠圓滿，海水不會永遠停留在浪尖一樣，衛家遲早也會走向衰落。”
衛青在權力巔峰，保持了清醒的頭腦。他隱約感覺到，自家人名揚四海，部將親屬遍布朝野，如此輝煌之下總有哪裏不太對勁。現在，甯乘給他點破了：“要防止皇上猜忌啊！”衛青恍然大悟，忙討教如何應對。
甯乘說：“現在內宮之中，王夫人是皇上的新寵。但是王夫人出身卑微，她的家人依然生活在貧苦之中，希望大將軍能夠向王家贈送重金，聯絡感情。”衛青依計而行。
原來，隨著歲月的推移，衛子夫無奈美貌不再，越來越多的美女進入了劉徹的床榻。在眾多新進的美女中，劉徹最喜歡趙國王夫人。王夫人為劉徹生下了後來的齊王劉閎。這個王夫人和衛子夫一樣出身卑微，可她不像衛子夫一樣有弟弟衛青和外甥霍去病，王夫人找不出一兩個拿得出手的親戚來。她的親戚實在不成器，劉徹就是想提拔王家，都找不到合適的提拔對象。所以王家依然生活在窮困之中。現在，王家突然收到了大將軍、長平侯衛青送來的五百斤黃金，驚喜若狂，忙告訴了王夫人。