漢武帝一聽，覺得有些道理，但也怕忍受不住相思之苦，就說道：“這樣也還好，隻是朕實在是太掛念你了，夫人還是讓朕看一看吧。”說著就要去掀開帳幔。
沒想到李夫人卻用棉被捂住了臉，抽泣地說道：“身為婦人，容貌不修、裝飾不整，不足以見君父，如今久病未愈，蓬頭垢麵，實在不敢與陛下見麵。”雖然疾病纏身，但是她依然帶著一種難以言表的柔情，使漢武帝不禁動情。
漢武帝堅持想看一看，李夫人卻始終不肯露出臉來，即使漢武帝以賞賜黃金及封贈李妍兄弟官爵作為交換條件，她仍執意不肯，隻是在錦被中嗚嗚咽咽地說：“倘若妾一病不起，我們的孩子以及我的兄弟，希望陛下多加照應。”這話讓漢武帝聽起來心動情動。
漢武帝悵然若失，心痛如絞，再請她一露芳顏，但是李夫人卻泣不成聲起來，轉身向裏麵，以難言的隱痛謝絕了皇帝的要求。
不久，李夫人病逝，一代紅顏過早地謝世。在漢武帝的記憶裏，仍然是李夫人未病前那副天仙般的美貌形象，因此十分懷念。盡管後宮佳麗成百上千，沒有任何一個人的美麗容顏能夠取代李夫人。漢武帝隻好令宮廷畫師畫了一張李夫人的圖像，懸掛在甘泉宮內，日日觀看，想以此充實一下空寂的心靈，能讓苦思不寧的情懷暫時求得一點平靜。
誰知適得其反，睹物思人，更觸發其無限的懷念，更加深了人去樓空、物是人非的悲痛哀傷。漢武帝思念李夫人，睡不寧，坐不安，再醇的美酒也覺淡而無味，再珍貴的肴饌也咽不下喉，愁眉不展，長歎不已，神思恍惚。
有一天武帝去了昆明池。昆明池在上林苑中，池中有豫章台、靈波殿及一條石刻的鯨魚。石鯨長三丈，每到天上下雨的時候，石鯨首尾皆動。昆明池東西各立一個石人：一是牽牛，一是織女，做成天河相隔的樣子。時值秋日，武帝坐在舟中，見夕照西斜，涼風激水，景物使人淒涼。不禁觸事懷人，想到李夫人生前的種種好處，於是自作新詞一首，名《落葉哀蟬曲》，其詞曰：“羅袂兮無聲，玉墀兮塵生。虛房冷而寂寞，落葉依於重扃。望彼美之女兮，安得感餘心之未寧？”
武帝出來遊昆明池，本為散悶解憂，誰知反添了許多新愁，於是回到延涼室中休息。他覺得很疲倦，睡眼之間，忽見一人嫋嫋走進。原來竟是李夫人，她手攜一物，贈與武帝，並說：“這是蘅蕪香。”武帝忽然驚覺，回憶剛才的夢境，曆曆如在眼前。又聞到一陣香氣，芬芳經久不息。他記起李夫人夢中所贈的香，到處摸索卻找不到。但是枕席衣襟，卻不知怎麼沾染了香氣，因此改延涼室名為“遺芳夢室”。
方士少翁自稱能夠將李夫人的靈魂招來，便於夜間設置帷帳，點上燈燭，讓漢武帝坐在另一帷帳中。便遠遠地看見帳中有一個美麗的女子，影影綽綽，好像當年在月下的李夫人一樣，再看模樣神態果真與魂牽夢縈的李夫人一樣，漢武帝連忙趨前審視，可惜芳蹤已遝。於是愈益悲痛思念，淒然寫下：“是邪？非邪？立而望之，偏何姍姍其來遲。”並命樂工譜上曲，由琴瑟伴奏歌唱，用以傷悼李夫人。還為她寫下一首賦。此賦細致委婉、沉痛悱惻地抒發了對李夫人的哀思和深情，以及愁腸百結、離恨萬千的惆悵苦悶，哀豔淒切，被千古傳唱。
他想到了李夫人病中囑托的話，於是封李延年為協律都尉。李夫人還有一個弟弟李廣利，則苦於沒有尺寸之功，武帝不能無故加封。不過機會終於來了，大宛屠殺漢使，武帝借機派李廣利兩征大宛。待四年後班師回玉門關，第二次出征時的十多萬人僅剩下萬餘人。武帝卻不加苛責，反而封李廣利為海西侯，食邑八千戶。多少屍骨丟在大漠無人收取，隻為李夫人的一句遺言，武帝也稱得上是一往情深。
關於漢武帝請術士為寵妃招魂的事情，司馬遷卻在他所著的《史記》中，說少翁為漢武帝所召的“佳人”並非李夫人，而是齊王的生母、同樣早逝的王夫人。
《拾遺記》則說，漢武帝確實也召過李夫人之魂相見，但是他找的方士名叫董仲君。董仲君花了十年工夫，才在海外找到能夠讓魂魄依附的奇石，刻成李夫人的模樣放在輕紗帷幕之中，果然恍若李夫人再世。武帝非常高興，想要走近“李夫人”身邊，董仲君卻說那石頭上有奇毒，何況魂魄並非活人，因此隻能遠看不能靠近。為了不讓武帝誤碰，董仲君很快便將這石像裂為九段。武帝大失所望又相思難耐，隨後便修築了夢靈台，用來祭祀李夫人。
而民間更有這樣的說法，說武帝上了方士的大當，他隔著紗帳所看到的“魂魄”，與李夫人、王夫人都沒有關係，其實隻不過是少翁等人的一場皮影戲表演而已。
但是不管怎麼說吧，漢武帝劉徹對李夫人一往情深，輾轉多年都不曾淡忘，就連他晚年重用的名臣霍光都對此留下了深刻的印象。當武帝去世之後，由於絕大多數有名號的後妃都先後被他生前以罪謫死，而他身為皇帝，總不能孤身一個葬入帝陵吧！作為托孤重臣的霍光、金日苦思冥想之後，終於靈光一閃，追封李夫人為“孝武皇後”，將她的靈位與武帝並列，享受後人的祭祀。由於在死後當了皇後，李夫人墓被稱為“英陵”，又名“習仙台”。一個出身卑下的女子，能在生前身後榮寵至此，曆史上恐怕沒有幾個吧！