郾城大捷的胜利消息传到临安时，令宋高宗大为不快。宋高宗不愿前方胜利的原因有二：一是怕金人被彻底打败，放宋钦宗还朝。到了那时，高宗的皇位就会受到严重威胁。二是怕岳飞功高震主，威望超过皇帝。如果任凭这种情况发展，高宗的威信必然下降。
秦桧是靠和议而得官的，金人如果失败，他的存在价值将彻底终结。在个人私利的驱使下，秦桧劝高宗调回岳飞。岳飞接到圣旨后疑惑不解，给朝廷上了一道奏章，说道：“现在金人失去锐气，正是恢复中原的大好时机。如此良机岂可失之！”
秦桧看到岳飞的奏章，非常愤怒。他下达命令，让张浚、刘光世等将领从前线撤军，然后上奏章说：“岳家军已成孤军，若不撤回，必遭惨败。陛下不可坐视不管！”于是，宋高宗颁发金牌（宣布紧急命令的凭证），命岳飞南下。
岳飞接到第一道金牌，还在犹豫，可是没过多久，第二道金牌又到了。在一日之内，岳飞竟接到金牌十二道。岳飞悲愤难抑，流着眼泪说道：“十年之功，废于一旦！”他知道宋高宗的决定已无法改变，只得下令班师。
老百姓们拦住岳飞的马头，说道：“您来到这里时，我们顶香盆，运粮草，全力支持宋军。这些事情金人是知道的。现在您弃朱仙镇而走，金人会放过我们吗？”岳飞取出金牌，哭泣着说：“君王命我撤退，我怎敢违背？”百姓听了，都放声痛哭。
岳飞说道：“现在我在朱仙镇停留五日，愿意跟随我的请准备行装。”百姓们非常高兴，很多人都愿意随宋军南下。五日后，岳家军护送百姓南下，来到湖北。岳飞上了一道奏章，要求将襄阳六郡的闲置田地分给百姓，让他们在这里安家。宋高宗批准了。
兀朮听说岳飞已经撤退，又兴兵进犯宋朝，重新占领河南之地。当时宋朝诸将之中，以韩世忠、张俊、岳飞的军队最多。秦桧将三大将调入京城，封韩世忠、张俊为枢密使，岳飞为枢密副使。三大将的兵权被削夺。
这时，兀朮给秦桧写信，说道：“你整天希望两国和好，岳飞却想夺取河北。更何况岳飞杀我女婿夏金吾，我不报此仇，实在不能甘心！要想议和，必须将岳飞除掉。”
秦桧收到这封密信，开始谋害岳飞。1141年8月，在秦桧的指使下，谏议大夫万俟卨（音mò qí xiè，万俟是姓）、御史中丞何铸给宋高宗上奏章，批评岳飞居功自傲。岳飞不愿陷身于官场争斗中，向宋高宗辞职，去庐山母亲墓旁隐居。
秦桧的目的是置岳飞于死地，岂能善罢甘休！枢密使张俊虽是名将，却妒忌岳飞，秦桧与他勾结起来，商量除掉岳飞的主意。不久，张俊移驻镇江，诱使岳家军将士诬告岳飞。将士们知道岳飞的为人，都不愿谋害旧日上司。
张俊听说岳飞为维护军法，欲将都统制王贵斩首，后因众将讲情，才将刑罚改为杖责。张俊找到王贵，说道：“当初岳飞待你不仁，你难道不想报仇吗？”王贵摇头道：“大将总会用刑，我怎能因此生怨？”张俊探知王贵的隐私，以此要挟，王贵终于屈从。
接着，张俊又用钱财收买前军副都统制王俊。王俊曾经当过刽子手，专爱陷害别人，因此人送绰号“王雕儿”。他加入岳家军后，五六年都没有得到提升，因此心怀怨恨。王俊写了一份状子，诬告上司张宪欲带大军去襄阳，使岳飞再次掌握兵权。
张俊接到诬陷状后大喜，命王贵擒拿张宪。张宪是条硬汉子，虽受严刑拷打，始终不肯招供。张俊只得伪造密报，说岳云曾给张宪写信，策划兵变。
秦桧进宫见宋高宗，说道：“岳飞可能图谋造反，必须将他父子二人宣入京城对质！”宋高宗说道：“岳飞是员猛将，深得人心。如果非要追查他，只怕动摇军心，对寡人不利！”
秦桧见高宗如此怕事，不再与他商议。秦桧伪造一道诏书，召岳飞、岳云入京。岳氏父子刚到临安，就被抓入大牢。宋高宗见事已至此，只得命御史中丞何铸、大理寺卿周三畏审理此案。
英气浩荡风波亭
1141年10月，岳飞被押入大理寺大堂。主审官何铸责问道：“有人向枢密院告你，说你对皇帝的决定不满，想重新掌握兵权。事已至此，你还不招认？”岳飞答道：“我如果想发动兵变，早已去鄂州准备，怎会仍在庐山？”
何铸又说：“你不要为自己辩白了！有人说，你命岳云给张宪写信，让他带兵造反，恐吓天子。难道这些也是假的不成？”岳飞说：“既然如此，书信在何处？”何铸只得说道：“据密报上讲，张宪害怕被查，已将书信焚毁。”
岳飞愤怒地说：“你们所说的罪状，竟然一点证据都没有，这如何能让岳某心服？上有皇天，下有后土，可以证明岳某的清白。”说着，他把自己的上衣脱下，露出脊背来。众人发现岳飞背上竟有“精忠报国”四个大字，深入肌肤。
原来，岳飞的母亲为了激励岳飞报效祖国，用绣花针在他背上刺了这四个大字。这一下，周三畏以及众衙役全都肃然起敬。何铸虽是秦桧党羽，毕竟天良未泯，知道岳飞忠心报国，立即退堂。
何铸拜见秦桧，说道：“岳飞忠心耿耿，未必反叛朝廷。是不是相爷弄错了？”秦桧见何铸居然为岳飞说话，摇头道：“皇上的意思是给岳飞定罪，我也毫无办法。”
何铸难过地说道：“我岂敢违逆皇上、相爷？可是现在强敌尚在，如果斩杀朝中大将，会使将士离心离德。这对朝廷到底有何益处？”秦桧不悦，但终究不好撕破脸皮，只得勉强与他叙谈几句。周三畏对秦桧的态度非常不满，挂冠离职。
秦桧恼羞成怒，将此案交与谏议大夫万俟卨审理。万俟卨用尽酷刑，将岳飞父子和张宪打得遍体鳞伤，可他三人就是不肯招供。
万俟卨为了交差，就给岳飞罗织罪名。他诬陷道：“岳飞担任节度使时，曾说自己和太祖爷都是三十多岁担当此职。他出此狂言，难道不是欺君罔上？当初发生淮西兵变时，岳飞延误发兵日期，哪有半点忠心可言？”
枢密院使韩世忠虽屡遭冷遇，仍关心着岳飞的案情。他亲自去找秦桧，说道：“你们说岳飞造反，究竟有什么证据？”秦桧答道：“岳云给张宪写信之事虽未查清，但这事‘莫须有’（意思就是也许有）。”
韩世忠叹道：“相爷竟然如此行事！‘莫须有’三字，怎能让天下人心服？”秦桧大为恼火，不再与韩世忠说话。
韩世忠回到府中，怒气不息。他的夫人梁红玉说道：“岳少保如此忠贞，尚且下狱，何况于你？不如赶快辞去官职，免得被奸臣所算！”韩世忠认为夫人言之有理，上奏章辞官。宋高宗命他以福国公的身份在家休养。
11月，金熙宗派使者到临安，与宋高宗讲和。金使约定：宋、金西面以大散关为界，东面以淮河为界；宋高宗向金熙宗称臣，每年进贡白银二十五万两、绢二十五万匹。由于宋高宗的年号是绍兴，这次屈辱的和议就被称为“绍兴和议”。
12月，万俟卨又对岳飞用刑，并逼他招供。岳飞悲愤至极，提笔写道：“天日昭昭，天日昭昭。”此后，岳飞拒绝进食，只求速死。
阴历腊月二十九，秦桧在府中东窗下饮酒，又想起岳飞的事，禁不住用指甲在柑子皮上划来划去。当时秦桧的妻子王氏在旁相陪，看到秦桧心神不定，出言相劝：“你这个老头子，竟然没了决断能力。俗话说得好，缚虎容易放虎难呀！”
秦桧听从王氏的话，写了一张纸条，命人交给看管岳飞的狱吏。当天晚上，狱吏将岳飞、岳云、张宪绑到风波亭上，用绳子活活勒死。当时，岳飞三十九岁，岳云才二十三岁。狱卒隗顺对岳飞非常同情，将他的尸体背走，找了个隐秘之处埋葬。
秦桧害死岳飞，还不肯放过他的家人。他派人抄查岳家财产，将岳氏全家流放岭南。岳飞非常清廉，家里只有数条金、玉犀带，一些盔甲、兵器、布绢、粮食。岳飞之女得知父亲的死讯，抱银瓶投井而亡，后人称她为“银瓶小姐”，把她的葬身之井叫做“孝娥井”。
虞允文书生退敌
1150年初，金熙宗被海陵王完颜亮杀死，海陵王自立为君。海陵王怕众人不服，残忍地杀害了金太宗子孙七十余人、诸宗室五十余人。1153年，海陵王迁都燕京（今北京），改名中都，并建造豪华的宫殿。
海陵王的野心极大，他篡位前曾对人言：“我要做三件大事：一是做执掌国家政权的人；二是南征北伐，生擒各国君主；三是让天下绝色女子做我的妻室。”
海陵王对江南的景物与美女垂涎已久，他命画工随使者去南宋，描摹临安山水。画工回朝后，又奉旨将海陵王策马而立的形象画到吴山顶上。海陵王在画上题诗一首，表达自己夺取江南之意：
万里车书一混同，江南岂有别疆封？
提兵百万西湖侧，立马吴山第一峰。
1161年9月，海陵王指挥六十万军队南下，实行灭亡南宋的计划。金兵共分四路，一路取荆襄，一路取四川，一路由海路取临安，主力部队则由海陵王亲自率领，进攻两淮。
负责江北防务的是老将刘锜（音qí）。尽管他身染重病，仍命人用担架将他抬到淮东，并命副将王权移驻寿春。可是，王权贪生怕死，走到庐州（今安徽合肥）便不肯前进。金兵渡过淮河，长驱直入。王权竟然弃城南逃。
刘锜虽在清河口击败敌军，但独木难支，只得带兵撤退。他在瓜洲坚守四天，终因作战失利，不得不渡江南撤。于是，金兵尽得江北之地。
宋高宗听到前线失利的消息，非常害怕。他命人准备船只，准备再次渡海逃亡。枢密使叶义向奉命视察前线。他不敢亲临前线，只在建康驻守，命中书舍人虞允文去采石（今安徽马鞍山南）慰劳三军。
虞允文来到采石时，发现宋军都脱掉盔甲，三五成群地坐在道旁。而江北的炮声一阵接着一阵。虞允文说道：“你们是朝廷军人，应该尽职防守。”士兵们都说：“我们的长官都跑了，我们又有什么办法？你不过是个书生，怎么懂得打仗之事？”
原来，采石前线只有王权所属将士一万五千人，五百匹战马，势单力薄。而且，刘锜、王权都被免职，镇守长江的李显忠尚未来到，无人指挥。虞允文决定将这些败兵组织起来，对抗金人。
虞允文的属官都劝他：“你是奉朝廷之命犒赏三军的，没有指挥的任务。万一你打了败仗，朝廷一定会将你治罪！”虞允文说道：“你们说得虽然有理，但现在国家形势危急，我岂能袖手旁观，置之不理？”
虞允文对前线将士们说：“金兵一旦渡江，咱们国破家亡，能往哪里逃呢？不如拼死一战，也落得个青史留名！”将士们说：“我们虽有此意，但无人担当主将，也是枉然！”
虞允文说：“我愿意带领你们杀敌。我带来许多钱财，只要你们努力杀敌，我一定重赏！”将士们非常高兴，说道：“既然您有杀敌之心，我们怎会不听号令？我们愿做大人的马前之卒，守住长江！”于是，虞允文就成为采石军队的主将。
虞允文故意示弱，将主力部队隐藏起来。金人以为宋军已经溃散，急忙渡江。金军弃舟登岸时，宋军突然发动攻击。毫无防备的金军被杀得大败，但仍奋力抵抗。这时，宋朝水军也发动攻击，摧毁了许多敌船。
虞允文正在指挥作战，发现一支宋军来到南岸。他命人询问，才知道是从光州（今河南潢川）败退下来的军队。虞允文灵机一动，命他们从山后绕到江边，击鼓摇旗。金兵以为宋朝援兵已至，纷纷坐船败逃。