岳家军的撤退，使收复的失地再次丧失。金军又趾高气扬起来，夺地攻城，咄咄逼人孔彦舟轻易地就攻取了郑州、登封、汝州、淮宁、颍昌、郾城等地；金人把宋淮北宣抚副使杨沂中五千骑兵打得落花流水，杨沂中等部也支撑不住，相继撤回原防区，收复中原的大好形势被彻底葬送了。
河北的义军也被置于重重围困之中，张贵领导的泰安忠义民兵和王忠植领导的陕西忠义民兵先后被金军消灭，李宝、梁兴、赵云等著名义军首领也难以继续坚持，在袭击几次金兵之后，不得不冲出金朝统治区，回到江淮宋军大营。
事到如今，岳飞总算看透了高宗、秦桧，只要他们当朝，休想伸展收还故疆的平生大志。
岳飞越想越气，于途中上章要求解除兵权，并不等皇帝批复，折往九江，又到庐山母亲墓地守丧去了。
岳飞在往临安的途中走了大半路程，才接到高宋的一道手诏。高宗不准岳飞辞职，仍然命他回朝。岳飞明白了高宗是绝对不愿看到自己北伐成功的。他单独完成北伐的希望彻底毁灭了。抵达临安后，他不再有任何的表示，只是竭力地请求解除军务，并恳求辞去少保的虚衔。高宗对岳飞这次擅自离职上庐山更加疑忌，岳飞对高宗的言行不一、姑息纵敌的行径，也非常气愤。高宗和岳飞之间的裂痕越来越大，但是高宗怕会再有战事发生，因此还不敢轻易地削夺岳飞的兵权。
面对金人来势汹汹的攻击，高宗不得不再次召见岳飞，高宗一心指望的是“挡”，把金人挡在长江以北；岳飞想的是“灭”，把南侵金军消灭，收复故疆，以解国家根本之危。因此，岳飞的方略，远不是“头痛医头，脚痛医脚”的消极防御。他向高宗指出，东向进援九江，必为敌人所料，而出奇制胜用兵方案有二：一是长驱京、洛，捣虚端巢，使敌疲于奔命，稳操胜券；二是自蕲、黄深入，绕敌背后，与淮西军南北合击，把兀术军围歼于江、淮之间。
第一个方案，高宗自然不会采纳。第二个方案，差强人意，高宗采纳了。绍兴十一年二月九日，岳飞得到高宗手诏，同意他自蕲、黄出兵。岳飞下达了准备出发的命令，部队花了两三天时间，做了紧张的准备，十一日，他不顾身患寒嗽病（感冒之类），挥师出征，进援淮西战场。为此，高宗特发信嘉奖：得卿九日奏，已择定十一日起发，往蕲、黄、舒州界。闻卿见（现）苦寒嗽，乃能勉为朕行，国尔（而）忘身，谁如卿者？（《金佗稗编》卷三《高宗皇帝宸翰》，绍兴十一年《援淮西一十五诏》）
自武昌至舒州，一千余里。在岳飞赶临之前，刘錡的“八字军”和杨沂中、王德所率部队共八万人马已会合，在合肥东南、巢县北面的柘皋镇，打败了十万金军，收复合肥。
张俊是个善于奉承拍马、嫉妒贤能、利禄熏心之徒。一方面，他和高宗的爱将殿前都指挥使杨沂中结为心腹，想借杨沂中之力进一步得宠于高宗。另一面，忌妒后起之秀刘錡，在这次柘皋大战中，不给刘錡报功，把战功全归于他自己和杨沂中两人。而且，害怕武将权大的高宗，明令三大将互不受节制，张俊却摆资格，竟召集杨沂中、刘錡商议军事。张俊叫刘錡率“八字军”回太平州，自己和杨沂中一同到濠州（今安徽凤阳附近）去“耀兵淮上”，即去耀武扬威一番。谁知刚出发不久，谍报说金军围攻濠州很急，张俊一听，立即吓得“茫然失色”，慌忙又叫刘錡回来壮胆，又合军去解濠州之围。三军进至离濠州六十里的黄连埠，濠州已经陷落。不久，逻卒报告说：“金兵已全部退出濠州。”张俊不辨真假，忙派人通知刘錡，“已不须太尉（指刘錡）人去”，叫刘錡先回当涂（太平州）。他和杨沂中继续前往濠州去耀武扬威。杨沂中和张俊的部将王德在四更时离开黄连埠，中午赶到了濠州城西，立阵未定，濠州城楼上突然升起乌黑的烽烟，霎时间，尘土飞扬，喊声震天，金军埋伏的一万骑兵，分两翼包抄过来。杨沂中失去镇静，慌慌张张地挥动令旗，刚开口说：“那回……”部将一听以为是命令撤回，掉转马头就奔，几万人马像决堤的洪水，一溃不可收拾，被金军骑兵杀得尸横遍野。杨沂中从临安府带来的三万禁卫军，几乎全部成了淮河边上的白骨。杨沂中又一次当了逃兵。
岳飞接到濠州告急的军情就马不停蹄地赶往濠州。金军知道岳家军前来援助的消息之后，立即不战而逃。岳飞这次援淮西，结束的时间是绍兴十一年（1141年）暮春三月。令岳飞没有想到的是，这竟然是自己的最后一次带兵打仗了，满腔的爱国热情化为了一片冰雨，曾经以为高宗对自己有知遇之恩，一定要誓死报答；但是没有想到的是，这个怯懦的皇帝北伐的计划只是欺骗百姓的一个幌子，他一再听信小人的谗言，屈膝求和，丧失自己的尊严，还将自己推入了无尽的深渊。