幾天後李夫人去世。事情的結局果然不出李夫人所料。李夫人拒見武帝，非但沒有激怒他，反而激起他無限的痛苦，將李夫人用皇後禮安葬，命畫師將她生前的形象畫下來掛在甘泉宮。武帝思念李夫人之情日夕遞增。
有一天武帝去了昆明池。昆明池在上林苑中，池中有豫章台、靈波殿及一條石刻的鯨魚。石鯨長三丈，每到天上下雨的時候，石鯨首尾皆動。昆明池東西各立一個石人：一是牽牛，一是織女，做成天河的樣子。時值秋日，武帝坐在舟中，見夕照西斜，涼風激水，景物使人淒涼。不禁觸事懷人，想到李夫人生前的種種好處，於是自做新詞一首，名《落葉哀蟬曲》，其詞曰：“羅袂兮無聲，玉墀兮塵生。虛房冷而寂寞，落葉依於重扃。望彼美之女兮，安得感餘心之未寧？”
武帝出來遊昆明池，本為散悶解頤，誰知反添了許多新愁，於是回到延涼室中休息。他覺得很疲倦，睡眼之間，忽見一人嫋嫋走進。原來竟是李夫人，她手攜一物，贈與武帝，並說：“這是蘅蕪香。”武帝忽然驚覺，回憶剛才的夢境，曆曆如在眼前。又聞到一陣香氣，芬芳經久不息。他記起李夫人夢中所贈的香，到處摸索卻找不到。但是枕席衣襟，卻不知怎麼沾染了香氣，因此改延涼室名為“遺芳夢室”武帝懷思轉切，召來一個方士，讓他在宮中設壇招魂，好能與李夫人再見一麵。於是在晚上點燈燭，請武帝在帳帷裏觀望，搖晃燭影中，隱約的身影翩然而至，卻又徐徐遠去。武帝癡癡的看著那個仿如李夫人的身影，淒然寫下：“是邪？非邪？立而望之，偏何姍姍來遲。”原來深海裏有潛英之石，顏色發青，且輕如毛羽，天氣寒冷石頭卻是溫的，當暑熱時反而變冷。把這種石頭刻成人像，可以說話，方士將石像置於紗帳裏，宛若李夫人生時。但因石頭有劇毒，不可接近，隻可以在遠處觀望。他想到李夫人病中囑托的話，於是封李延年為協律都尉。李夫人還有一個弟弟李廣利，則苦於沒有尺寸之功，武帝不能無故加封。
不過機會終於來了，武帝聽說大宛國有汗血馬。便派使者齎持千金及金馬前往大宛換取良馬。此事被大宛國王一口拒絕。使者費盡許多辛苦白跑了一趟，因此生氣之下痛罵宛國大臣，又將金馬錘成了碎屑。大宛國將使者殺死，財物奪去，隻有幾個從人僥幸脫逃。武帝借機派李廣利領六萬騎兵，七萬步卒往征大宛。待四年後班師回玉門關，僅剩下萬餘人。武帝卻不加苛責，反而封李廣利為海西侯，食邑八千戶。多少屍骨丟在大漠無人收取，隻為李夫人的一句遺言，武帝也稱得上是一往情深。
“夫人”是嬪妃的稱號，李夫人沒有留下她的名字，薄命不薄命難說，禍水不禍水也談不上，但這位死後許多年還能讓漢武帝戀戀不忘的李夫人卻實在不尋常。她的開始和結局同樣不可思議。武帝的無盡思痛幾乎全在她計劃之中，美豔的容顏是她受寵的原因，而更在於她做人極有分寸，不因武帝的寵幸忘乎所以。一句“遺世而獨立”襯托了她的本質，有可遇而不可求的距離美。李白的那句“以色事他人，能得幾時好？”也許是李夫人所說的最好注腳。
東漢郭憲《漢武帝別國洞冥記》中記載了漢武帝因深情思念李夫人，東方朔遂獻上一枝懷夢草，使武帝能在夢中和李夫人相遇。《史記》與《漢書》都詳略不同地記載了方士李少翁為漢武帝招李夫人魂的事。據東晉王嘉《拾遺記》：招魂時是用色青質輕的“潛英之石”，將李夫人的畫像設在紗帳裏，在燈燭下投影於“帳帷”之上。這是後代皮影戲的由來。白居易詩《李夫人》雲：“傷心不獨漢武帝，自古及今皆若斯。君不見穆王三日哭，重璧台前傷盛姬。又不見泰陵一掬淚，馬嵬坡下念貴妃。縱令妍姿豔質化為土，此恨長在無銷期。”但那種“遺世而獨立”的淒清，千古之下隻李夫人一人而已，遠非楊貴妃的豔俗可比。