起始成帝对许皇后与班婕妤宠爱尤甚。一次，成帝在后宫庭院游玩，想和班婕妤同坐一辆车，班婕妤婉言谢绝说：“观看古代的图画，圣贤的君王身边都是名臣伴随左右，三代末世的君王身边才有宠妾。现在陛下您想与我同乘一辆车，是不是有些类似之处呢！”成帝对她的回答很赞赏，于是作罢。
太后听说后，也十分高兴，说：“古有樊姬，今有班婕妤！”班婕妤把侍从李平进献给成帝，李平受到宠幸，也被封为婕妤，赐姓卫。
后来，成帝微服出行，经过阳阿公主家，喜欢公主家的舞女赵飞燕，召她进宫中，大加宠幸。赵飞燕有个妹妹，也被召进宫，姿色非常美艳。左右的人见了她，全都惊叹赞美。
汉宣帝时候的一位披香博士淖方成，当时正站在成帝身后，却唾骂她们，说：“这是祸水呀，一定会灭了汉朝的火（按当时的五行学说，汉属火德）！”
赵飞燕姐妹都被封为婕妤，尊贵压倒后宫的其他人，许皇后、班婕妤都失宠了。赵飞燕还向成帝进谗言，说许皇后、班婕妤用妖术诅咒后宫的美人，蛊惑皇上。
鸿嘉三年（公元前18年）十一月，许皇后被废，搬到昭台宫居住。许皇后的姐姐许谒等人都被处死，亲属都被驱逐回原来的郡县。
讯问班婕妤的时候，班婕妤回答说：“我听说‘死生有命，富贵在天’。行为正当的人还没有蒙受福祉，邪恶的更别想有什么指望了。如果鬼神能够明白，不会听从蛊惑主上的诅咒；如果鬼神不能明白，向鬼神诅咒又有什么用？所以我是不会这样做的。”
成帝认为她说得有道理，赦免了她，还赏赐黄金百斤。赵氏姊妹骄横好妒，班婕妤害怕时间长了还是会被她们陷害，就请求到长信宫侍奉太后。成帝答应了。
成帝想立赵飞燕为皇后，皇太后嫌她出身卑微低贱，进行阻拦。太后姐姐的儿子淳于长任侍中，经常到东宫为成帝传话。过了一年多，才得到太后的旨意，答应了。
赵飞燕当上皇后，成帝对她的宠爱有些减少。她的妹妹却倍加受宠，被封为昭仪，住在昭阳舍，中庭的墙全漆上朱红色，而殿上漆成黑色；门框全包上铜，再涂上黄金；台阶用白玉雕成；屋内墙壁的横木上嵌着黄金环，环里镶着蓝田美玉、明珠、孔雀的羽毛装饰。这是后宫从来没有过的华丽奢侈。