劉徹對劉據基本上是滿意的，但是對劉據在很多問題上頂撞自己深感不快。他曾經語重心長地對劉據說：“我做的很多事情，你都不讚同，但我這樣做是為了你將來能夠安享太平！”可惜劉據依然在若幹問題上與父皇唱對頭戲。
衛青死後，劉據失去了重要的外朝屏障。劉徹對劉據很無奈，但根本沒有想到過撤換太子的問題。然而，劉徹和劉據這對父子之間最後還是爆發了兵戎相見的血腥政變，血染長安城，史稱“巫蠱之禍”。
所謂巫蠱，就是利用紮木偶、下咒語等迷信手段，陷害他人。漢朝法律嚴厲禁止巫蠱，劉徹本人對巫蠱深惡痛絕。劉徹步入晚年後，身體越來越不好，更加對巫蠱敏感。他住在長安的時間越來越少，長年累月逗留在離宮甘泉宮中。父子見麵的時間越來越少了，本來心裏就有小疙瘩，現在因為疏遠惡化成了心理隔閡。
劉據得罪的那些貪官酷吏、權謀小人在劉徹麵前搬弄是非，離間父子關係。酷吏江充，出身卑微，依靠不斷檢舉他人、刑訊逼供一步一步爬上來。太子劉據很討厭他。江充怕太子繼位後懲辦自己，就勾結太監蘇文等人要扳倒劉據。衛青的姐夫、丞相公孫賀不巧因為巫蠱被牽連下獄。江充等人就使勁把“巫蠱”的髒水往衛家和太子身上潑。
父子隔閡、交流不暢、對權臣家族的猜忌，現在加上“巫蠱”嫌疑，漢武帝劉徹隨即授權江充徹查太子與“巫蠱”的關係。於是，事情惡化為劉徹、劉據父子倆指揮各自的軍隊在長安城裏混戰了幾天幾夜，隻殺得鮮血淹沒了街道，彙聚成了赤紅的河流。
混戰的結果是，劉據一幫人寡不敵眾，遭到了血腥的鎮壓。劉據懸梁自盡，他的四個子女同時遇害。政變平息後，震怒的劉徹派人收繳皇後的璽綬，要廢掉衛子夫。衛子夫在宮中自殺。太監找了口薄棺材，將衛子夫草草埋葬在長安城南的桐柏。漢書說至此“衛氏悉滅”。
衛家是漢武帝時期的一個傳奇。衛子夫從歌女到皇後、衛青從騎奴到大將軍，家族相關人等在朝野盤根錯節，締造了一個神話。盡管權勢熏天，但這個家族安分守己，並沒有什麼“負麵新聞”，衛家的主要人物還為西漢王朝做出了突出貢獻。可他們遇到了一個強權君主，一個晚年多疑的劉徹，頃刻之間就被連根拔起，滿門抄斬，令人惋惜感慨。
政治崇尚叢林法則，兩強相遇必有一傷。強盛的權力家族和強權的專製君主，在同一個時間內隻能存在一個，不可能和睦相處、分享權力。這就是衛青家族不能在漢武帝時代永享富貴的大道理。