当初，武帝的姑姑馆陶公主刘嫖下嫁给堂邑侯陈午，武帝能被立为太子，继承皇位，馆陶公主在其中起了很大作用。公主把她的女儿阿娇嫁给太子做正妃；等到武帝继位之后，正妃就做了皇后。窦太主自恃援立武帝有功，无休止地请求赏赐、干预国政，武帝对她很不满。
陈皇后骄横嫉妒，独占君宠，却没有生育孩子。陈皇后花巨资想求得儿子，但是终究没有生育，陈皇后因此也失去了武帝的宠爱。皇太后提醒武帝说：“你刚刚做上皇帝，大臣还没有归附，你就先兴建明堂，太皇太后已经很生气了；现在又得罪窦太主，必定会受到重责。妇人性情是容易取悦的，你应该慎之又慎！”武帝于是重又对窦太主、陈皇后母女俩以礼相待。
武帝到霸上举行祓除仪式，返宫途中，去看望他的姐姐平阳公主，看上了平阳公主府中的歌女卫子夫。卫子夫的母亲卫媪，是平阳公主家的奴婢。平阳公主就把卫子夫送入宫中，卫子夫日益受到武帝的宠幸。陈皇后得知后，恼怒万分。武帝对陈皇后则更为恼怒。
陈皇后因为妒嫉，想加害卫子夫，让人以巫蛊诅咒卫子夫。武帝元光五年（公元前130年），陈皇后的巫蛊活动被武帝得知，被判“大逆不道”之罪，皇后之位被废掉，然后被处死。武帝元朔元年（公元前128年），卫子夫生子刘据，遂被立为皇后。七年后，刘据被立为太子。武帝晚年对卫子夫也渐渐疏远，先后获宠的有李夫人、李姬、王夫人和赵婕妤。武帝太始元年（公元前96年），相传武帝渡过黄河北巡，见有青紫气在天空萦绕。武帝便询问随行的方术士是怎么回事。方术士回答说：“这里必有一奇女子。”武帝便派人查访，果然在河间发现一个赵家少女。虽然此女貌若天仙，但自生下之日起，便生有怪病：手蜷曲紧握不开。查访的官吏当即把这一情况报告了武帝。武帝亲往观看，并命人把赵女的拳头扒开，发现她的手中握善一个玉钩。武帝感到十分惊异，便将她带回宫中。从此赵女得宠，武帝专门为她建了一宫，名日“钩弋宫”，赵女也就被称为钩弋夫人。一年以后，钩弋夫人有孕，怀孕十四月生下一子，这就是刘弗陵。武帝听说远古时期尧的母亲生尧时也是怀孕十四个月，因此称钩弋宫门为“尧母门”，并且把钩弋夫人升为婕妤。
刘弗陵的降生与众不同，同时又是武帝老年所得，再加上刘弗陵身材魁梧、面貌俊秀、天资聪颖，和武帝非常相像，所以颇受武帝偏爱。
后来武帝知道了巫蛊之祸的实情，他开始后悔起来，适逢高寝郎田千秋也上书为太子鸣冤，武帝至此幡然醒悟。他将江充等人满门抄斩，为太子申了冤，却又引来了马何罗行刺武帝未遂事件。马何罗为侍中仆射，在宫中担任侍卫，他与江充关系很好。武帝诛灭江充的宗族、党羽，马何罗兄弟惧怕受到牵连，因此预谋行刺武帝。当时侍中驸马都尉金日磾观察到他们的行动有些反常，于是暗中监视他们，以防有变故。马何罗兄弟也发现了金日磾在注意自己，很长时间未敢动手。武帝后元元年（公元前88年）夏六月，武帝到林光宫避暑。这一天，金日磾身体不适，留在宫中歇息。马何罗、马通和小弟马安成假称奉旨深夜出宫，调动军队，并把皇帝所有使者全都杀了。次日清早，武帝在宫中尚未起床，金日磾正要上厕所，见马何罗从宫外急匆匆进来，感到情况不妙，马上来到武帝休息的大殿内，藏在内门里面。一会儿，马何罗袖藏匕首从东厢房走来，见金日磾在此，脸色骤变，快步奔向武帝的卧室，打算冲进去。谁知慌乱之中，马何罗一头撞在殿内的宝瑟上，金日磾趁势上前把他抱住，高呼：“马何罗谋反！”武帝从床上惊起，侍卫们冲上去将马何罗擒获，随后将他和他的党羽都处死。
巫蛊之祸后，选立皇位继承人成了问题。太子死时，其三子一女也同时遇害，只有一个尚在襁褓之中的孙子刘病已，武帝对这个皇曾孙却并不怎么关心。除了太子刘据以外，武帝还有五个儿子，但作为皇位继承人来说，武帝都不大满意。王夫人所生齐怀王刘闳，在太子之前死亡，身后又无子嗣，也就无从考虑。李夫人所生昌邑哀王刘髆，其舅舅贰师将军李广利与丞相刘屈氂曾谋划推立刘膊为帝，被人告发，并且还指控他们从事巫蛊诅咒皇帝，受到武帝的严厉惩罚，刘髆不久也病死了。
燕刺王刘旦和广陵厉王刘胥为李姬所生。燕王刘旦博览群书，能言善辩，喜欢天文占星术，又好声色犬马等事，招揽各地游士。太子犯事被捕杀之后，刘旦自认为论排行该为太子，因而上书请求人京宿卫，惹恼武帝，将其使者斩于北门。后刘旦又因藏匿逃犯，武帝因此对他更为厌恶。刘旦的弟弟广陵王刘胥，力能举鼎，敢空手与猛兽搏击，但和他哥哥一样，过失很多，不守法律，所以武帝不愿立他们俩为太子。
当时，钩弋夫人赵婕妤所生的儿子刘弗陵年纪尚小，但却身高体壮，聪明伶俐，武帝常说：“这孩子像我。”又觉得他的降生也与众不同，打算立他为太子，可担心他年龄太小，他年轻的母亲会以太后的身份专政乱国，所以很长时间武帝对立太子之事犹豫不决，直到死前不久，才决定让大臣来辅佐少子弗陵为嗣，并除掉其母钩弋夫人。
武帝对群臣进行考察后认为，只有奉车都尉、光禄大夫霍光忠诚可信，能担当此任，于是让人画了一张周公抱着周成王受诸侯朝拜的图送给霍光。没过几天，武帝找了个理由，将钩弋夫人赐死。不久，武帝闲坐时问左右侍从，外面对钩弋夫人之死有何议论，左右回答：“人们说：既然要立她的儿子为嗣，为何还要把他的母亲杀掉？”武帝说：“对啊，这样的事你们这样愚笨的人是不懂的。古往今来，国家所以出现乱子，都是由于君主年龄小而其母还在壮年，女主纵恣淫乱，专权骄横，无人能约束她。你们没听说过吕后的事情吗？所以我必须先除掉其母。”
后元二年（公元前87年）二月，武帝在盏屋五柞宫病重，霍光哭着问道：“皇上如有不测，帝位可由谁继承？”武帝说：“你还不明白前些天送给你的那幅画的含义吗？由少子继承帝位，由你效法周公来辅政！”霍光叩头谦让说：“我不如金日殚！”金日磾则说：“我是匈奴人，不如霍光，假如这样匈奴就会轻视汉朝。”二月十二日，武帝正式下诏立年仅八岁的刘弗陵为皇太子。次日，任命霍光为大司马、大将军，金日磾为车骑将军，太仆上官桀为左将军，搜粟都尉桑弘羊为御史大夫，四人受遗诏辅佐小皇帝。
霍光，字子孟，是骠骑将军霍去病的弟弟。霍去病是父亲霍中孺到平阳侯家服役时，跟侍女卫少儿的私生子；霍光是霍中孺服役完毕后回家娶妻生的孩子。后来，卫少儿的妹妹卫子夫得到武帝恩宠，立为皇后，霍去病因此而受到皇帝恩宠。长大以后，霍去病才知道自己的父亲是霍中孺。还来不及寻找问候，正好他以骠骑将军身份带兵攻打匈奴，经过河东，河东太守到郊界迎接至平阳客舍，并派小吏迎接霍中孺。霍去病父子相认，返回时，就带着弟弟霍光一起回到长安。当时霍光十多岁，就被任命为郎官，渐渐升到诸曹侍中。霍去病死后，霍光担任奉车都尉兼光禄大夫，皇帝出外时就在车旁侍奉，入朝就侍奉左右，出入宫禁二十多年，谨小慎微，没有过失，皇上十分信任他。
霍光身高七尺三寸，眉清目秀，皮肤白皙。他为人稳重少言，从容谨慎，秉性极其端正，每次进出宫廷和下殿出门时，停步和行进都有固定的地方，不差分毫。刚刚辅佐幼主之时，政令都由他发布，天下人都盼望他一展风采。宫殿中曾有怪异，一夜之间群臣惊慌失措，霍光叫来尚符玺郎，打算收取玺印，郎官不肯。霍光想把玺印夺过来，郎官按剑说：“我的头你可以拿去，可是玺印你拿不到！”霍光认为他做得很对。第二天，让皇上下命令把这个郎官提升二级。老百姓对霍光赞不绝口。
金日磾，字翁叔，本是匈奴休屠王的太子。武帝元狩年间，骠骑将军霍去病率兵攻打匈奴右地，杀敌无数，还缴获到休屠王祭天的金人。同年夏际，骠骑将军又向西进发，攻占祈连山，大获全胜。匈奴单于对昆邪、休屠十分怨恨，因为他们所在的西方多被汉军攻破，召二王打算诛杀他们。昆邪、休屠只好打算归降汉朝。休屠王后来反悔，昆邪王杀了他，把休屠王的部下一起带过来向汉朝投降。皇上封昆邪王为列侯。金日磾当时十四岁，因为父亲不降被杀，与母亲阏氏、弟弟金伦一起被送入宫中养马。
过了很久，武帝在游玩饮宴时要看马，嫔妃宫女全站在旁边，金日磾等几十人牵马经过殿下，没有不偷看的，只有金日磾目不斜视。日殚身长八尺二寸，相貌很威严，马又骠肥体壮，皇上感到奇怪，就问他是谁，他全照实回答。皇上认为此人很与众不同，当天赐给他衣冠，把他拜为马监，升为侍中驸马都尉光禄大夫。金日磾能亲近皇上以后，从未有过失，因此十分受武帝宠爱，一些贵戚在私下怨恨，说：“陛下胡乱得到一个匈奴小儿，反倒看重他。”皇上听到后，反而更加厚待于他。
金日磾的两个儿子也都深受皇上宠爱，大儿子叫弄儿，皇上老跟他逗乐子，常陪侍在皇上身边。有一次，弄儿从后面围住皇上脖子，金日磾见后十分生气，便拿眼瞪着他。弄儿一边跑一边哭着说：“爹爹生气了。”皇上对金日磾说：“别生我弄儿的气！”后来弄儿长大，行为不检点，与宫女在殿下戏闹，正好被金日磾撞到，厌恶他的淫乱行为，于是杀了弄儿。皇上得知后大怒，金日磾叩头告罪，把杀弄儿的原因一一说出。皇上颇为悲伤，以后对金日磾更为尊敬。江充被灭族后，其好友马何罗兄弟害怕被株连，密谋刺杀武帝。不料在马何罗擅自闯入皇上卧室准备行刺时，被金日殚发现。金日磾奋力抱住马何罗，把他摔到殿下，侍卫马上捉住他，最后马何罗伏法受诛。金日磾因此以忠孝著称。
金日殚自从在皇上身边起，几十年从不敢直视皇上。皇帝赏赐给他的宫女也不敢亲近。皇上要把他的女儿纳入后宫，金日磾不肯。他这样笃厚忠诚，皇上认为不可多得。皇上病重时，嘱托霍光辅佐少主，霍光要让给金日磾。金日磾认为不妥，于是就成为霍光的助手。
上官桀开始受到武帝的信任是因他英勇有力。武帝有一次出巡，遇上大风，御车难行，便命令将车上的盖伞卸下交给了上官桀。风虽然特别大，可上官桀总能跟在身后；后来又下起了大雨，上官桀又赶上前举着盖伞为武帝遮雨，武帝对他的勇力十分欣赏。上官桀后来任未央富的马厩令。武帝曾卧病在床，好了后，去马厩看马，见很多马都瘦了，恼怒万分，对上官桀说：“你以为我再也不能见到马了吗？”打算将他交给吏卒治罪。上官桀叩头道：“我得知皇帝龙体欠安，日夜忧虑，心思实在是不在马上。”话还没说完，眼泪就流下来了。武帝认为这是上官桀敬爱自己的表现，因此更加亲近他，任命他为侍中，后又升为太仆。这三个人都是武帝平时所信任的大臣，所以把后事托付给他们。二月十四日，武帝死于五柞宫，享年七十岁。第二天，太子刘弗陵即皇帝位，即后来的汉昭帝。