到了花甲之年時，漢武帝又迷上了一個不滿二十歲的趙地美女趙婕妤。趙婕妤住在鉤戈宮中，備受寵幸，雖然老夫少妻的生活並無幸福可言，年紀輕輕的趙婕妤最後也抑鬱而死，但生下之子劉弗陵卻深為漢武帝所偏愛。兒女有情，英雄好色，即使對於一個普通人來說，也會帶來說不清的後患，何況作為一國之君的帝王呢！晚清詩人曹元忠以《漢武帝》一詩，諷喻了漢武帝的一件件風流韻事：
從來難再思傾城，千古佳人此評定。
兒女有情終氣短，英雄好色是天生。
玉階羅袂秋無跡，金屋長門賦有名。
垂死猶成鉤戈獄，早知外戚製西京。
善於察言觀色的寵臣江充，對漢武帝偏愛少子的心情心領神會，就策劃了一場針對太子劉據的陰謀活動。當時自漢武帝始，宮廷內盛行巫蠱之術，即用各種毒蟲互相爭鬥，勝者為蠱，然後以此蠱加害仇敵；也有用暗埋木偶人作加害對象並以惡言詛咒的辦法。江充就誣陷太子以巫蠱之術咒罵漢武帝，太子聞訊後怒殺江充，過激的行動更加深了漢武帝對太子的懷疑，就派兵捕殺太子。太子被迫奮起反抗，兵敗自殺，業已色衰失寵的衛皇後也因此自殺身亡。
在這次“巫蠱之禍”中，宮闈戕殺，父子相殘，使許多無辜者喪命，是漢武帝在晚年驕橫、昏憒、奢靡、迷信行為的集中表現。清詩人吳偉業重讀漢史，深感曾多次在泰山岱觀封禪，又多次派人至黃河源頭問天的漢武帝，實在是“晚來雄略盡”，勉為其難地坐在高位，卻已經屬於大浪淘盡的過時人物了。為此，他寫下一首詠史詩，題為《讀漢武帝紀》：
岱觀東迎日，河源問西天。
晚來雄略盡，巫蠱是神仙。
晚年的漢武帝，內憂外患，焦頭爛額。“巫蠱之禍”以後，他痛定思痛，終於醒悟到自己上了大當。為贖舊孽，他將江充一家滅族，為太子報仇，又在太子殉難處建了思子宮和歸來望思之台，以寄托心中的哀思。然而當漢武帝再舉目四顧宮外時，看到的是一種令他想像不到的情景。由於國庫空虛，人口銳減，破產的農民成群結隊地逃亡各地，形成了一股股湧動的流民潮。他們無法生存，隻有鋌而走險，發動武裝起義。農民起義烽火四起，大群數千人，小股逾百者，他們攻打城邑，搶奪兵器，釋放囚犯，處死官吏，連中央直接進行的暴力鎮壓亦未能奏效。這種烈火幹柴的嚴峻形勢，已與秦始皇晚年時的局麵相差不遠了。
然而，就在這漢室興衰存亡的關鍵時刻，漢武帝顯出了一個雄才大略君王的不凡，他沒有采取秦始皇那種一意孤行的暴力政策，而是引咎自責，“深陳既往之悔”。漢武帝拒絕了桑弘羊關於在輪台屯民駐軍的建議，發表了著名的“輪台罪己詔”，詔曰：
朕即位以來，所為狂悖，使天下愁苦，不可追悔。自今事有傷害百姓，糜費天下者，悉罷之。
從此他堅定地調整了治國方針，力申“當今務在禁苛暴，止擅賦，力本農”，采取與民休息的政策。政策的改變收到了良好效果，社會逐步安定，生產有所恢複。漢武帝的後任漢昭帝和漢宣帝繼續奉行這一政策，使西漢又一度出現了“宣帝中興”的奇跡。
後元二年（公元前87年），年屆古稀的漢武帝病逝，少子劉弗陵繼位。漢武帝死後葬於漢陵中的茂陵。晚唐著名詩人李商隱來到漢武帝陵前，以一首《茂陵》詩曆數武帝往事，評點他的一生，又為蘇武歸國時不見派他出使的武帝，隻見“茂陵鬆柏雨蕭蕭”而嗟歎不已：
漢家天馬出蒲梢，苜蓿榴花滿近郊。
內苑隻知含鳳嘴，屬車無複插雞翹。
玉桃偷得憐方朔，金屋修成貯阿嬌。
誰料蘇卿老歸國，茂陵鬆柏雨蕭蕭。
漢武帝及在其六百多年之後即位的唐太宗，一向被認為是中國曆史上兩個功業卓犖的皇帝，漢、唐二朝曾經創造了中國文明史上許多奇跡，而這些奇跡又多是在這兩位名君統治期間出現的。然而到了晚年，他們卻都程度不同地感染了“老皇帝”病，帝位一直坐到七十歲的漢武帝，病症自然比五十歲就去世的唐太宗更為嚴重和典型。
英年早逝的唐太宗，就年齡而言還不足以稱“老”，他所感染的“老皇帝”病，乃是二十多年的帝位坐得太久而致，因此並沒有嚴重到損害他功績和形象的地步。漢武帝則不然，在位五十四年，皇帝做到七十高齡，不得此病才怪！病中猛醒，立地成佛，皇帝居然謝罪於天下，不僅坦率地檢討自己的過失，而且把太子弗陵托付給朝廷重臣。
“晚而改過，顧托得人，此所以有亡秦之失，而免亡秦之禍。”作為一個封建時代的“天子”，竟能有如此大徹大悟地知錯認錯的勇氣，竟能有如此浪子回頭般痛改前非的決心，聞所未聞，談何容易！單憑這一點，漢武帝也稱得上名副其實的千古一帝了。