按照明代冠服制度规定，皇帝的冠式为乌纱折上巾，又名翼善冠。世宗因为信奉道教，便看中了道士戴的香叶冠，他不仅把自己的翼善冠换成了香叶冠，还让他的宠臣也戴香叶冠。他特意命人制作了五顶沉水香叶冠，分赐给夏言、严嵩等人，要他们入值西苑时戴上，并且还传输大臣进入西苑时不许坐轿，只准骑马，这也是仿照道士的习惯。
严嵩极力迎合世宗的心意，每次入西苑值班，都戴上香叶冠，而且还在冠上加罩轻纱，以示虔敬。世宗见了自然满心欢喜。每次入值西苑，严嵩必定骑马，他虽然已是六十几岁的老头儿了，但身体健壮、腿脚灵便，精力充沛，这一点也足以引起一心向往长生不老的世宗的好感。
相比之下，夏言则耿直不驯。夏言认为香叶冠不是正式朝服，不适于朝臣穿戴，因此，他就是不肯戴冠；入值西苑时，他也不肯骑马，依然坐轿，。对于这种对抗性的做法，世宗很是不满。再加之夏言一贯对道土之流没有好感，时常流露出鄙夷、轻贱之意，因而得罪了世宗所宠信的道长陶仲文。严嵩乘机与陶仲文相勾结严嵩趁机与陶仲文相勾结，在世宗面前大讲夏言的坏话，这样，世宗把对夏言的恩宠渐渐移到了严嵩的身上。
世宗热衷仙道，无暇亲理政事，而他为人好猜忌，想知道大臣们背着他都干些什么，所以就常常派出身边的小太监到大臣们办公的地方去探查。这些小太监来到夏言处，夏言只顾忙于政事，不愿答理他们，态度就显得傲慢、孤高。而小太监们来到严嵩处，严嵩立即起身相迎，笑容可掬，拉着他们的手，请他们坐下，态度温和地问寒问暖，、说短道长，临别还将大把大把的金银塞到他们的衣袖中。这些小太监虽无职无权，但因为随侍皇上左右，是皇上的耳目喉舌，且可以搬弄是非，所以他们的话具有举足轻重的作用。
小太监受了夏言的慢待，自然说夏言的坏话；得了严嵩的好处，自然替严嵩说好话。长此以往，世宗对夏言便有了成见，而对严嵩则印象日佳。
经过一番慢慢渗透的功夫，世宗对夏言的不满日益加深，严嵩见时机已经成熟，便打算公开向夏言发动攻势。正巧，有一天世宗单独召见严嵩，与他谈到夏言，并问及他们之间的龃龉，严嵩认为这是一个求之不得的大好时机，便决定利用这个机会扳倒夏言。