自从李若虚回朝如实报告以后，赵构看到岳飞决心渡河北伐，没有商量的余地，于是下狠心借金兵之手消灭岳家军。自七月八日兀术亲率精兵奇袭郾城岳飞的大本营开始，到金兵集中十二万兵力反复包围猛攻岳家军营地，直打到八月十八日为止，前后十一天，岳家军孤军奋战，坚决打退了超过自身兵力三倍的敌人。在十多天的血战中，自己的军粮与装备也损失一空，得不到补充。在赵构的授意之下，友军（主要是张俊的队伍）又坐视不救。按照赵构和秦桧的想法，这一仗打下来，岳家军已经完全溃败，即使剩下一些残兵，也已经没有抢渡黄河的力量。
大战尚未结束，“十二道金牌”就已经陆续从杭州出发。赵构估计，岳家军的主力已被消灭，这时岳飞如再抗命，那就作为叛逆处理，下令宋军加以围攻，乘机撤销岳家军的番号，以除心腹之患。结果他们估计错了，岳家军在这一次大战中，击退金兵的多次轮番反扑，歼敌二万多人，自己人损失不多，实力仍在。当时后勤补给虽然断绝，但是岳家军与自己防区里的老百姓鱼水情深，老百姓绝不会坐视血战余生的岳家军饿肚子。大战平息以后，金兵不敢来追，岳家军集结之处，老百姓不断前来送粮食，送衣物，协助队伍保护伤员。一时战局相对平稳，岳飞才得以冷静下来和本军的将士们共同商量对策。
大家心里都很明白，岳家军这时已经遭到了别人的暗算。这里所说的暗算，是指杭州小朝廷里的汉奸和金人串通一气，打算在这一次颍昌大战中一举消灭岳家军。幸亏岳飞事前作好充分准备，全军将士用命，经过多日血战，终于击退金兵，保住了岳家军。但是这时进不能进，留不能留，孰吉孰凶，何去何从，必须慎重考虑。
千里边疆，四大军区的各路宋军加起来原是多数，比较之下，十余万金兵原是少数。怎么在一个多月之中，打来打去，十余万金兵全都集中到中原来专打岳家军，原来参加包围东京的淮西军区的宋军反而撤走了，其余各地宋军分散闲置，不起作用。没有汉奸通敌，何至如此！现在岳家军打得筋疲力尽，装备丢光，如果再去抢渡黄河，与防河的金国生力军对垒，等于是去送死，所以进不能进。而且粮食、装备的供应全部断绝，日常生活难以维持，所以留不能留。又从一些军报和比较正直的友军人士那里得到绝密消息，他们已经受命对岳家军采取戒备状态。岳家军如有异常行动，双方随时可能发生冲突。岳飞感觉到一种极大的危险已经迫在眉睫，那就是赵构、秦桧在岳家军的面前已经布置了一个陷阱，如果岳家军再有抗命行动，他们随时都会发动一场内战，来铲除岳家军。在大敌当前、千里边防线都处于战争状态之时，内战的后果不堪设想。如果真正打起来，岳家军并不怕谁。两河与山东的百万民兵都会响应岳家军，淮东的韩家军至少不会和岳家军敌对。但是内战一旦爆发，金兵就会乘机南下，摧毁南宋小朝廷。全国军民十多年来忍辱负重所建立起来的这个政权班子就会化为乌有，这绝对不是岳飞所忍心看到的事。
对于打一场内战，秦桧并不畏惧。这次金国背约南侵，秦桧作为力主“和议”的宰相，负有很大的责任。这次大战结束，不管是宋军战胜还是双方打个平手，要找秦桧算账的人都不在少数。只要天下一乱，秦桧就能找个机会逃回金国。作为老牌汉奸，又当过宋廷的宰相，具有很大的利用价值，虽然挞懒已死，金国贵族中间想用他的人还是大有人在。只可惜赵构已经当了多年的一国之君，因为害怕赵桓回国，就死心塌地跟着秦桧走上邪路，不怕背上万代骂名。
虽然有不少青年将士对赵构、秦桧如此陷害岳家军感到无比愤怒，主张要打就打，不再听命于人，但是许多来自河朔的老兵，来自东京的老兵，来自苗、刘兵变的老兵，来自宜兴基地的老兵，许多久经战阵的将士，长期追随岳飞的幕僚，都赞成岳飞的这个重要决策：不闹意气，保存实力，等待时机，东山再起。十年之功废于一旦固然令人痛心，但是经过多年努力培养出来的这支岳家军，实力绝对不能损失。既然目前没有冒险渡河的力量，那就暂不渡河。既然再要抗命就会引发内战，那就暂不抗命。万不得已，不妨奉诏退兵，退到襄阳和鄂州去休整补充。
岳飞的想法是稳重的，经过十多年的苦心经营，南宋朝廷才有了像岳家军、韩家军这样有限的几支能和金兵交手的队伍。他认为，在大敌当前的时候，赵构不应该自毁长城。这次他和秦桧勾结敌人，借刀杀人，想一举消灭岳家军，就是一次极为冒险的行动。既然被人识破，应该有所收敛，难道还能一计不成，再来一计！岳飞心想：如果你们是对我不放心，才想消灭岳家军，也好办，我可以交出兵权，回到庐山去当个老百姓。只要金国存在一天，随时都有可能发动南侵，我既有击破金兵主力的本领，你们手里能够保存我这颗棋子也是好事。只要我不争兵权，不恋名位，你们又何必跟我过不去。如果我们全军将士用自己的鲜血打出了一个短暂的和平局面，我可以解甲归田。一旦战事又起，我还可以再为国家出力。岳飞这种光明磊落的态度，许多将士是深深敬佩的。在当时的诸大将中，岳飞是最年轻的一个，别人都已经四五十岁了，他才三十多岁。来日方长，他为国家出力的机会还很多，所以他不能闹意气，应该千方百计保护岳家军的实力。赵构、秦桧挖了一个陷阱让他跳，他不能跳，在不班师就得丧师的两难情况之下，许多将士都赞成他的选择：奉命班师。
岳飞决定班师，河南、京西的老百姓大失所望，成群结队地拦住大军马头，抱住马腿，号啕痛哭。岳飞无言以对，泣不成声，叫部下把朝廷诏书摆在桌子上，以示无奈。当地百姓受够了金兵的杀掠之苦，要求跟着岳家军一起撤退。岳飞表示可以把他们安置在襄阳六郡。因此，大军在蔡州停留五天，保护百姓搬迁。最后从蔡州出发时，还是有很多走不了的老百姓前来送别，开拔令下，人马齐发，老百姓失声痛哭，将士们热泪长流。他们三步一回头，五步一回头，既是回首蔡州，也是回首东京。这时天气突变：雷鸣电闪，大雨倾盆。在大雨中，人马仍然不断回首北望，人既热泪长流，马也引颈长嘶。这样一个激动人心的场面，将永远定格在历史的画面之中。
赵构“十二道金牌”的内容本是“飞孤军不可久留，令班师赴阙奏事”，是叫岳飞到杭州“奏事”的。岳飞班师以后，兀术又复提兵南下，猛攻淮北宣抚副使杨沂中驻守的宿州。杨沂中所率领的五千骑兵被打得落花流水，他只身逃往泗州，金兵尾追，前锋直指长江。真是“所得州郡，一朝全休”。岳飞十分气愤，在南下途中就写奏章要求辞职，不等赵构批复，就自顾自上庐山去为母亲守墓。赵构事后才知道，岳家军在与金兵激战中，竟然以少胜多，一再获胜，实力依然保存，不免大吃一惊。为了掩盖自己的慌乱，他温言抚慰，下诏挽留，不让岳飞辞职，仍然召他到杭州相见。这年九月，两人见面，赵构假装亲热，一再垂询国家大事，但是岳飞只是拜谢，一概不想回答。对于这种口是心非的人，还有什么应付的必要呢。赵构自知无趣，只好作罢。不久岳飞就赶回鄂州，休整自己的队伍去了。
绍兴十一年（1141年）正月，兀术再犯淮西，张俊的部下雷仲临阵脱逃，寿春陷落。兀术过了淮河，攻陷合肥、含山、历阳，不久就到了长江北岸。军情紧急，赵构又想起岳飞来，一再下诏催岳飞进援淮西，但是进军方案一直未能商定。等到进军方案商定，岳飞于二月十一日带病出征，赵构立即发亲笔信嘉奖：
得卿九日奏，已择定十一日起发，往蕲、黄、舒州界。闻卿见（现）苦寒嗽，乃能勉为朕行，国尔忘身，谁如卿者！
看到这种虚情假意的“御札”，岳飞内心极为反感；但是在收复中原的大事业没有完成以前，他绝对忠于职守。听到濠州（今凤阳）告急的消息，他照样带病驰援。濠州那里的金兵听到岳家军来援的消息，全都落荒而逃。这是绍兴十一年（1141年）的暮春三月，是岳飞的最后一次抗金之战。从此以后，我们就再也看不到他在祖国大地上指挥千军万马猛追金兵的身影了。
当年七月，当他又和赵构见面之时，提到一年前被逼班师的往事，愤懑之情，还溢于言表。他不客气地指出：
臣兵深入虏境，颍昌之战，我兵大捷，虏众奔溃，潜入汴京（东京），当时若得戮力齐心，上下相副，并兵一举，大事可成。（《三朝北盟会编》卷二○七引《岳侯传》）
这时他还不忘一针见血地指出，1140年的大举北伐，已经万事俱备，本来可以一举收复中原，为什么会功败垂成呢？那是因为上下不能齐心，不能并兵一举。为什么“上下不能齐心，不能并兵一举”呢？赵构心里应该明白，是因宋廷中有人通敌卖国之故。