然而直接导致夏言失败的因素是“复套”事件。1543年，深得夏言倚重的三边军务总督曾铣向朝廷提出收复宪宗成化年间被蒙古鞑靼部占领的河套地区的计划。该地对明朝的北部边防有着极其重要的意义。有鉴于此，夏言大力支持，开始深得世宗赞赏，并拨银三十万两作为修边、军饷、造器等开支。严嵩对收复河套的事，开始是犹豫不决，听任夏言将他列名在主张收复河套的奏疏上，接着便在暗中向世宗进言，表示反对。而夏言此时奏请世宗赐曾铣以诛杀节帅以下将领的尚方宝剑，以便节制号令，这又引起了世宗的戒心。严嵩趁机公开攻击夏言擅权自用，好冒边功；曾铣不负责任，轻开边衅。夏言自然不肯让步，便在世宗面前争吵不休，激起了世宗的怒火。严嵩看时机已到，表示夏言欺人太甚，自己无法再与之共事，请求辞官，世宗对他好言相劝，将夏言狠批一顿后勒令其退休，同时派锦衣卫捕捉曾铣。严嵩诬告曾铣克扣军饷，贿赂朝臣，将曾铣判为死罪，斩首于西市。
赶走了夏言，严嵩并没有就此罢休。他知道世宗是一个极爱护短又易于羞愧发怒的人，便命人在宫中放出谣言，说夏言离京时口出怨言，说皇上曾令自己拟旨奖谕曾铣，现在却出尔反尔。
这个精心设计的挑拨，使世宗十分生气，夏言从归途中被抓回来。他上极竭力申冤，诉说自己是被严嵩陷害的。但此时，鞑靼侵犯居庸关，严嵩又以夏言开启边衅的罪名欲将其置于死地，最后夏言被加上了勾结曾铣的罪名，按朝臣勾结封疆大吏的刑律问斩，弃尸西市。夏言的妻子也受到牵连，被流放到广西。从此，就再没有人能与严嵩争做首辅，严嵩独揽大权。
三、权倾天下
从古到今，权钱都相连在一起的。严嵩贪钱，不管是升官，犯了罪想免罪也要交钱。每当吏、兵二部选拔官员时，严嵩都要亲自安排二十多个名额，每个名额索取贿赂数百两黄金。
浮碧亭明御花园内其中，礼部员外郎项治元贿赂严嵩万两黄金，升任吏部主事；举人潘鸿业贿赂严嵩二千两黄金，被任命为山东临清知州；甘肃总兵仇鸾犯罪下狱后通过家人贿赂严世蕃三千两黄金，被释放并被保荐为边将；工部主事赵文华因为贪赃，被贬出京为州判，也以重金贿赂严嵩，并拜严嵩为干爹，结果又重新入朝，步步高升，成为严嵩的党羽。严嵩因自己作恶多端，怕人告发，便让赵文华当了通政使，因为告状的奏章必先经过通政司才能送到世宗手中，这样他就能事先知道，想法对付了。严嵩到底有多少干儿子，连他自己也说不清，总之在一些重要的部门他都安插了自己的亲信。抗倭名将俞大猷为人耿直，不会奉迎拍马，严嵩便指他党羽加以诬陷，把他批捕入狱。朝中不少官员因爱惜俞大猷的才能，凑足了三千两银子贿赂严世蕃，俞大猷才保住了性命，但被发配到大同戍边。
严嵩父子担心自己的罪行有朝一日败露，便将大量的金银偷偷运到了江西老家。有一次回老家探亲时，严嵩的行李竟然有“辎车数十乘，骈车四十乘，楼船十余艘”，连他自己都觉得如此规模实在太吓人了。为了蒙骗沿途各地，这些船都统统打上官署的封识。所以，严世蕃曾在一次酒后失言道：“朝廷不如我富！”到抄了严嵩的家后，人们才知道严世蕃的话并非狂言，黄金三万余两，白银二百多万两，珍宝古玩亦可折数百万两白银。
有了这些家财，生活必然极端奢侈糜烂。严世蕃光小妾就有二十七个，经常朝歌夜弦，荒淫无度。如此腐化，严世蕃不但不以为耻，反以为荣，经常洋洋得意地炫耀说：“朝廷不如我乐！”
严嵩贪污受贿，结党营私，许多大臣都忍不住来弹劾他。昏庸的世宗不但不予追究，反而予以袒护。而严嵩对这些弹劾他的人从来不手软，一律残酷迫害。有一次，兵部员外郎杨继盛上疏揭露严嵩的十大罪、五大奸，将严嵩的罪恶一一列出来。世宗此时已十分宠信严嵩，接疏后大怒，下诏将杨继盛进行严刑拷打。杨继盛在狱中被关了三年，备受杖答拶夹之苦，满身创痕，肉腐于身，伤势不愈。剧烈的创痛使他常常半夜醒来，见腐肉不去，新肉又腐，就打碎瓷碗，用碎片除去腐肉，见腐肉多是筋膜，又割断筋膜。狱卒听到动静后提灯来到牢房，见此情景，手抖得连灯都拿不住了，而他却神色自若。每次提审之时，现场都被士民围得水泄不通，很多人流下伤心的眼泪，在堂下窃窃私语：“此人乃是天下义士！”杨继盛在狱中关了三年，世宗本无意杀他，但严嵩却认为如果让他活下去，无异养虎遗患。嘉靖十四年，严嵩将杨继盛的名字附在了另一个重要案件的末尾并奏，世宗像往常一样不加细看，只大笔一挥就稀里糊涂地批复行刑。严嵩就这样轻而易举地杀了杨继盛。
严世蕃是严嵩的独子，又号称东楼，长得又矮又胖，脖子短粗，还是独眼，但他颇通国典，晓通时务，聪明过人。严嵩最喜爱他。严世蕃没有参加科举考试，就凭借老子的权势官至工部侍郎。虽然媚上和写青词是严嵩的拿手好戏，但票拟答诏和处理政务却远不及自己的儿子。严嵩再为内阁首辅时，已近七十岁，未免反应迟钝，加上世宗崇“玄”，其所下诏书亦往往是“玄”不可言，令严嵩揣摸不透其意，但严世蕃却“一目”了然。世宗咨询的御札，经他指点，经常合乎世宗心意。严嵩见儿子比自己能干，便将诸部府的文件都带回家让儿子批改。各部门遇事要严嵩裁决，严嵩也总是说：“等我与东楼小儿计议后再定。”因此，朝廷内外都说：“皇帝不能一天没有严嵩，而严嵩不可一天没有儿子。”有的人干脆称他们父子为“大丞相”和“小丞相”。严世蕃最喜欢做的事就是玩弄父亲从皇上那儿偷来的权柄。总督侍郎王忏藏有一幅古画，严世蕃想据为己有，派人前去索要，但王忏不忍割爱，只拿了一幅赝品出来。没想到严世蕃却是这方面的行家，一眼就看出是赝品，严世蕃十分气愤，派人诬陷王忏守边不力。后来，严嵩为了替儿子出气，将王忏杀了。
四、盛极而衰
在明朝的时候，有一种制度叫“票拟”，即凡朝廷重要的文书，都要由内阁首辅先拟好，写在票签上面，通过太监交给皇帝审阅。严嵩年龄已近八十了，难免精力不足，老眼昏花。原来都是儿子严世蕃代劳，常常代他进入内阁值房，碰到皇上旨意，大都代为拟好，严嵩一送即可。但嘉靖四十年时，恰逢其妻欧阳氏病故，因严世蕃在母亲死后要守丧，不能入内阁值房。严嵩有时候派人去找，他又同诸妾在一起淫乐，便无心琢磨世宗的御札，草草回答，语句不清。有时世宗催得太急，严嵩只好自己硬着头皮作答，因老眼昏花，反应迟钝，所拟之辞，往往词不达意，渐渐便失去了世宗的欢心。
嘉靖四十年正月，世宗和宠姬在西苑放烟火，不小心火势蔓，延烧毁了万寿宫，于是便移居玉熙宫。因玉熙宫很小，他住着闷闷不乐，于是想建一所新宫殿。严嵩心里只想着世宗不愿住回大内，就奏请世宗移居离宫。这是英宗当太上皇时幽禁的地方，世宗听了之后很不高兴。徐阶当时任礼部尚书和东阁大学士，看到严嵩的建议未被采纳，就立即奏请重修万寿宫，而这正合世宗的心意。从此，世宗便信任徐阶，凡军国大事都不让严嵩过问了。有一个道士名叫蓝道行，世宗很宠幸他。一次，世宗问蓝道行“方今天下为何不太平？”蓝道行与严嵩父子有矛盾，便利用这个机会，假乩仙之口说：“严嵩父子，奸险弄权，大蠹不去，贤才难进。”世宗又问：“既然如此，上仙何不降灾诛杀他们？”蓝道行又借乩仙之口说：“留待皇上正法。”御史邹应龙从太监那里了解到这一情况，认为除奸的时机已到。他于是上疏，陈列了严嵩父子及严氏家族的种种罪行，指出，他们一家如此作恶，天怒人怨。世宗早对严世蕃的种种劣迹不满了，因此降旨将他逮捕入狱。但想起自己与严嵩二十年的交情，仅让严嵩退了休，每年还要发给他粱米百石。
严嵩让私党四处为严世蕃开脱，最后严世蕃被遣戍雷州卫，但严世蕃还胆大妄为，未至戍所，逃跑回家，继续行凶作恶，横行乡里。徐阶便利用世宗痛恨倭寇的心理，弹劾严世蕃和罗龙文策划外投倭寇，潜谋叛逆，最终使世宗下了杀严世蕃的决心。嘉靖四十四年三月，严世蕃被处死。严嵩家财全被抄没，自己也被削为平民，连生活都没有保障，最后在贫病交加中死去。