拒见刘彻后不久，李夫人就香消玉殒了。刘彻听到死讯后大哭特哭，并且为她建造了特殊的坟墓，民间称之为“习仙台”，也称之为“英陵”。
果如李夫人所料，由于没见过她病中的样子，刘彻脑子里仍是她倾国倾城的容貌，于是时常眷恋思念，不能自已。有感于她临终前的托付，擢升她的大哥李广利担任贰师将军，她的二哥李延年担任协律都尉（掌管音乐部）。还把李夫人生的儿子刘髀封为昌邑王。
有一位叫少翁的方士听说刘彻为李夫人失魂落魄，茶不思饭不想的情况，就毛遂自荐，称自己能召请李夫人的亡魂跟他相见，刘彻听说后非常高兴，赶忙让方士一试。
招魂的那天晚上，少翁把李夫人生前睡的纱帐放下，灯火齐明，香烟缭绕。然后请刘彻坐在另外一座纱帐里，远远地相看。少翁口中念念有词之后，刘彻果然隐隐约约地看见一个很像李夫人的身影在纱帐里出现，并且轻移莲步。刘彻看得怦然心动，正想上去拥抱时，那美丽的身影却慢慢消失。刘彻的伤感是可想而知的，为了纪念这场相会，他写了一首著名的诗：
是耶？非耶？立而望之，偏何姗姗其来迟？
大意是说：帐幕中的人影是不是你呢？我站在这里看着你，你为什么偏偏又来得这么慢呢？“姗姗来迟”从此成为中国著名的成语，两千年引用下来，变成了女士们赴约时来迟的形容词。
刘彻对李夫人的思念还不止如此，他还写了一首悼歌，教宫女们歌唱，歌曰：
罗袂兮无声，重墀兮尘生，虚房冷而寂寞，落叶依于宁扃，望彼美之女兮，安得感余心之未宁。
大意是：衣襟啊，悄悄无声；玉阶啊，静静尘生；空房寒冷而且寂寞，落叶片片堆积在门前；那远处的美人啊，你可知道我的心神不宁？
有一天，刘彻在一座名为“延凉室”的房里休息午睡，梦见李夫人躺在身畔，送给他一种“蘅芜香”。刘彻猛然惊醒，人虽已杳，但枕席上和衣服上，却幽香扑鼻，好几个月不散。为了纪念这场春梦，乃改“延凉室”为“遗芳梦室”。