许皇后与班婕妤都受到成帝的宠爱。有一次，成帝在后宫庭院游玩，想和班婕妤同乘一辆车，班婕妤辞谢说：“观看古代的图画，圣贤的君王身边都是名臣相随，三代末世的君王身边才有宠妾。现在陛下想和我同乘一辆车，是不是有些类似呢？”成帝对她的回答很赞赏，于是作罢。太后听说后也非常高兴，说：“古有樊姬，今有班婕妤！”
后来，成帝微服出行，经过阳阿公主家时喜欢上公主家的舞女赵飞燕，就召她进宫，大加宠幸。赵飞燕有个妹妹，也被召进宫，姿容特别美艳。左右的人见了她，都惊叹赞美。
汉宣帝时候的一位披香博士淖方成当时正站在成帝身后，他唾骂她们说：“这是祸水呀，一定会灭了汉朝的！”
赵飞燕姐妹都被封为婕妤，一时尊贵荣宠，压倒后宫，许皇后、班婕妤都失宠了。赵飞燕还向成帝进谗言，说许皇后、班婕妤用妖术诅咒后宫的美人，蛊惑皇上。
鸿嘉三年（公元前18年）十一月，许皇后被废，迁居昭台宫。许皇后的姐姐许谒等人都被处死，亲属都被驱逐回原来的郡县。
拷问班婕妤时，班婕妤回答说：“我听说‘死生有命，富贵在天’。我修行持正，尚且没有享到幸福，如果做邪恶的事，就更不用想有好结果了。假使鬼神有知，不会听从蛊惑主上的诅咒；假使鬼神无知，向鬼神诅咒又有什么用呢？所以我是不会这样做的。”
成帝认为她说得有道理，就赦免了她，并赐黄金百两。赵氏姐妹骄横好妒，班婕妤害怕时间长了终为所害，就请求到长信宫侍奉太后。成帝答应了。
永始元年（公元前16年），成帝想立赵飞燕为皇后，皇太后嫌她出身卑微低贱，就进行阻拦。太后姐姐的儿子淳于长任侍中，经常到东宫为成帝传话。过了一年多，太后才答应成帝立赵飞燕为后。
赵飞燕当上皇后，成帝对她的宠爱稍有减少。而她的妹妹却倍加受宠，被封为昭仪，住在昭阳舍，中庭的墙全漆上朱红色，殿上漆成黑色；门框全包上铜，再涂上黄金；台阶用白玉雕成；屋内墙壁的横木上嵌着黄金环，环里镶着蓝田美玉、明珠，还有孔雀的羽毛装饰。这是后宫从来没有过的华丽奢侈。
赵皇后住在另外的宫殿，经常和侍郎、宫奴私通。赵昭仪曾对成帝说：“我姐姐性格刚烈，如果被人诬陷，赵氏就要灭族了！”哭得很悲伤。成帝相信了她的话，所以当有人报告皇后的奸情时，成帝就把报告者杀死。从此以后赵皇后公开淫乱，再也没有人敢向成帝报告。赵皇后到死也没有生得一子。