金人对于秦桧的信任，让秦桧很是兴奋，岳飞一直比较抵触自己，于是他想，如果一个武将没有兵权该是怎样的？他并不满足与破坏北伐战争，只要岳飞还在，就有可能又下一次的北伐，因此怎样除去岳飞才是令他头疼的问题。
心腹范同给秦桧献计说：“这三路宣抚使都久握重兵，难以驾驭。不如就借口论功行赏，把他们都调入朝廷，改任枢密使和副使，看起来是升官了，其实是解除了他们的兵权，岂不是一举两得！”这正中秦桧下怀。
他抓住宋高宗担心武将兵权压主的心理，建议削夺在外大帅的兵权。他认为张俊可以被自己利用，便与张俊串通一气，一唱一和，演出一场削除韩、岳兵权的闹剧。
他向宋高宗进言：“现在各路军马只知有将军，不知有皇上，韩家军、岳家军的名称就是证明，如不及早采取措施，恐怕会有祸患。”高宗听了之后赞同不已。
在征得高宗的同意后，他以三省枢密院的名义召韩世忠、张俊、岳飞到临安朝见皇上。但是，自从作出了这一决定后，秦桧每天都寝食难安。
万一这三名大将看穿了朝廷的真实用意，团结在一起，不肯交出兵权，那该怎么办？不仅是秦桧，还有参与此次谋划的王次翁、范同等人，全都惴惴不安。
张俊、韩世忠的军营离临安比较近，他们很快就到达了。
岳飞在鄂州的军营中，收到圣旨的时间已经很晚，不可能和他们同时到达。秦桧担心岳飞抗旨不来，简直是心力交瘁。一周之后，岳飞终于抵达了临安。
秦桧亲自迎接，大摆筵席，努力摆出最高兴的姿态，盛情招待这三名功勋卓著的大将。绍兴十一年（1141年）四月十一日，高宗亲自接待了三个人。高宗一面在西湖设宴款待岳飞、韩世忠和张俊三名大帅，一面连夜起草制词，任韩世忠和张俊为枢密使，岳飞为枢密副使，明升暗降，留朝任职。宋朝历史上的第二次“杯酒释兵权”又发生了。
宋高宗还特地安抚三人：“以前让你们做宣抚使，职权太小了，现在让你们任职于枢密府，是信任你们。”
他又向原来隶属于三个宣抚使的军队发出诏书，安抚将士。被没收军权后，三名大将的态度各有不同。年过五旬的韩世忠自从交出军权之后，就不理军务了。身为朝廷命官，他每天身着奇装异服出入衙门。
跟秦桧情投意合的张俊，表现得更为恭顺。调任枢密使的诏书一发布，他就上了一道奏章，谦卑地说道：“我现在只是管理军马，十分希望能够到朝廷去，为国家效命。”
岳飞早已经提出过辞呈，但是，他没有料到朝廷竟然会采取这样的措施，于是，他请求朝廷将自己带来的亲兵遣回鄂州，只留下少量人马。高宗立刻答应了，并让岳飞和张俊重返军营并派他们到楚州视察韩世忠的军队，准备将韩世忠的军队分到他们两个人的麾下。
张俊这个人的作风不正，不得人心，韩世忠手下的人一度要刺杀张俊。一起前去韩营的岳飞和张俊，个性也十分不合。张俊暗地里和秦桧早有约定，等罢免了众将的兵权后，再由张俊掌兵权，所以他是最先交出所管辖的军马的。
淮东、淮西、京湖三宣抚司紧接着被撤销了。此后，三处兵马直接听候三省枢密院取旨调发。
王贵接替岳飞，担任鄂州驻扎御前诸军都统制，张宪任副都统制，负责指挥岳家军。宋廷对他们不放心，特别任命秦桧的党羽林大声担任总领，进行监视。
刘錡也被罢免了军职，出任荆南知府，岳飞爱惜他是个人才，奏请留他掌兵，高宗也拒绝了。
高宗在给三大帅的制诏中，说尽了许多冠冕堂皇的好话，但是，一场更为狠毒的政治阴谋，却正在加紧筹划当中。
从此，南宋的兵权就掌握在秦桧和张俊的手中，他们继续策划阴谋，谋害岳飞，瓦解岳家军。
当初金军被岳家军打得狼狈不堪，兀术就把岳飞视为心腹大患，他深切地感觉到只有除掉岳飞，吞并大宋的目的才能实现。当岳飞率部安全撤回鄂州后，兀术便给秦桧写信，让秦桧想方设法除掉岳飞。在信中金兀术狠毒地说：“必须除掉岳飞，才有议和的希望。”
秦桧接到兀术的指令后，便不遗余力地贯彻执行。他计划先借岳飞之手除掉韩世忠，然后再处死岳飞。他知道，韩世忠与岳飞之间也有摩擦，韩世忠对岳飞年纪轻轻就登上大帅的宝座，并且有凌驾于自己之上的势头心存不满，且时有流露。秦桧估计岳飞对韩世忠也会怀恨在心，于是便设一个圈套引诱岳飞对韩世忠进行报复。
绍兴十一年（1141年）五月中旬，也就是在韩、岳解除兵权之后半月内，秦桧便与宋高宗一起策划瓦解韩世忠旧部的计划。密谋之后，宋高宗派张俊和岳飞二位枢密院长官前往淮东，任务是安排战守的工作。派张俊去淮东的行动本身就是要剥夺韩世忠的兵权。为了瓦解韩世忠的旧部，秦桧又策划了一个阴谋，他密令胡纺诬告韩世忠的亲信大将耿著，说耿著曾散布流言：“张俊、岳飞这次来淮东，目的是肢解韩家军。”企图蛊惑韩部众将，图谋叛变。秦桧接到诬告后，立即下令逮捕耿著，用酷刑逼供，给韩世忠罗织罪名。
岳飞是一个少壮派将军，受到高宗的赏识，令人嫉妒。岳飞曾经在缴获湖湘起义军杨幺的楼船之后，将两艘楼船装扮了一番，分别送给韩世忠、张俊两人。当时韩世忠很高兴，但张俊却认为岳飞是在向他炫耀，于是满腹怨气，两个人之间是有隔阂的。张俊和岳飞到达楚州之后，看到楚州的城墙有些破败了，张俊就提议，应该把城墙修好，以便防守。岳飞心中不同意，但也没有说什么。
张俊偏又再三询问岳飞的意见，岳飞就生气地回答：“修筑城池就是为防守和撤退做准备，这还怎么激励将士呢？逃跑是不需要教的，逃跑也不需要技术！”张俊听了，脸色顿时难看起来。张俊迁怒于身边的两名士兵，强加给他们一个罪名，下令将他们斩首。
岳飞见状慌忙劝阻，但是张俊不听，斩杀了那两名无辜的士兵。
回到临安后，张俊添油加醋、颠倒黑白地在朝廷内外到处声张歪曲岳飞的话，对他大肆诽谤。
张俊说：“岳飞在楚州当众宣告，楚州根本守不住，建楚州城又有什么用！”
此时，韩世忠原来的一名部下给宋高宗递上奏章，说不能分了韩家军。
秦桧抓住这一把柄，诬告他蛊惑人心、造谣生事，随后将他押捕在大理寺。秦桧的真正目的，是要把这一案件扩大，从而株连蔓延，最后达到惩治韩世忠的目的。
岳飞得知后立刻告知韩世忠，韩世忠赶到高宗面前，解释清楚事情的原委，才逃过了一劫。
秦桧等人收拾韩家军的阴谋没能得逞，对岳飞的怨愤达到了顶峰。于是，秦桧及其党羽把矛头转向了岳飞。
秦桧想利用岳飞陷害韩世忠的阴谋没有得逞，便开始分解他的军队。张俊主张把韩世忠的部队完全分解，遭到岳飞的反对。岳飞对张俊说：“现在能守卫疆土的大帅已经不当地给官兵留下一个不思进取的形象。”
右谏议大夫万俟卨上书弹劾岳飞，说岳飞“身居高官，扬扬得意，日渐颓废”，还说他“沮丧士气，动摇民心”，建议宋高宗免去岳飞的枢密副使一职。
宋高宗看到这封弹劾信后，也没有多想，就相信了信中所说的。其实是宋高宗“不愿意”去考虑，这封弹劾信给了宋高宗一个理由。宋高宗对秦桧说：“我上次听张俊说岳飞曾提过楚州城守不住的事情，没想到是真的。岳飞现在竟然这样，我也就没有什么倚重他的必要了！”
由于岳飞军功卓著，高宗也并没有做出什么具体的处罚决定。被解职后的岳飞带着岳云一起回到了江州。
岳飞被罢官之后，宋金双方再次进行和谈。绍兴十一年八月，金兀术将扣押在金营中的南宋使者放回，让他们向宋高宗和秦桧传达一封书信：在南宋朝廷内部仍有人阻止和议，如果这种情况继续下去，金廷还将发兵南下，希望南宋朝廷思考该怎样做才最好。
这封书信实际上是威逼宋高宗加紧镇压抗战派官员。宋高宗见到这封书信后十分惊恐，立即派光州观察使刘光远、成州团练使曹勋带着自己的亲笔信到兀术大营中哀求。兀术见信后，态度十分蛮横，指责赵构没有诚意，而且使臣职位太低，对金国不够尊重。高宗接到信后，又派吏部侍郎魏良臣等再次出使兀术大营，让魏良臣等口头说明让步的内容：以淮河为界划分两国疆土，淮河以北属金朝；宋国每年向金朝纳贡白银二十五万两，绢帛二十五万匹。如果有什么不妥的地方，一切听从兀术决定。
兀术对以淮河为界是满意的，但他仍然趾高气扬地反对以淮水为界，其实不过是故作姿态而已。经魏良臣苦苦哀求，兀术终于答应了赵构的要求，派昭武大将军萧毅等出使南宋，带去兀术信函一件，内容就是不杀岳飞，和谈无望。
赵构见信后十分满意，以君臣之礼写了回信，表示严格按照议和的内容办事。虽然双方以书信的形式确定了议和条件，但正式的和谈协议书尚未签订，为了早日迎接签约之日的到来，宋高宗赵构和权臣秦桧开始了迫害岳飞的行动。
恰巧这个时候，岳家军内部也出了一些问题，岳家军的将士们虽然个个勇猛无敌，但是但是常年征战沙场，难免会有争功之事的发生。有一个叫王俊的副统制，是一个最喜欢出卖同僚的小人，老想取悦秦桧、张俊。张俊听说岳家军中有这样一个无赖，就派人和他勾结，唆使他写了一份《告首状》，诬赖张宪要带兵到襄阳去造反。
张宪受到诬告之后，张宪连忙从鄂州出发，找到张俊去诉说原委。张俊一向与岳飞不合，而张宪是岳飞的得力大将，于是张俊立马严刑拷打王宪，逼迫他承认是岳云的指示。然后，张俊对外宣告，王俊的《告首状》一切属实，张宪造反的背后主使是岳云，而作为罪状的岳云写给张宪的书信，已经被张宪烧掉了。
秦桧知道这件事情之后，心中十分高兴。这个时候岳飞还对此事毫不知情，秦桧为了早日除掉岳飞这个心中大患，于是立马派人前去抓岳飞，对质此事。