朱仙镇大败的消息再次传来，金兀术欲哭无泪，面对着自己的兵马死的死，降的降，金兀术悲痛万分，而在黄河北岸的大平原上，传遍了郾城—颍昌大捷、朱仙镇大捷的好消息。金占区的父老百姓牵牛挽车运送干粮、粟谷给敌后的义军，还在大路边引颈眺望岳家军的到来。金兀术感叹道：“我自进中原以来，所到之处，望风瓦解。不想自从遇着这岳南蛮，六十万人马被他杀得只剩五六千人！我如今还有何面目回去见老狼主，倒不如自尽了罢！”说完之后当真拔出自己的利剑，就要自刎，这时候恰巧金兀术的军师哈迷蚩走了过来，他劝说道：“狼主，胜败乃兵家常事，不如暂且回国，再整人马，杀进中原，也不为晚。”金兀术想了想觉得是这个道理，于是收起了宝剑，恶狠狠地念着岳飞的名字，回到营帐中去。
面对金占区的父老百姓的行为，金方官吏睁一只眼闭一只眼，无可奈何。聚保山寨抗金的两河忠义民兵，更是闻风响应。梁兴派人送信至岳飞军帐中，说：“河北忠义四十余万，皆已‘岳’字号旗帜，愿公早渡河！”《忠愍谥议》，载《金佗续编》军事上的胜利，民心的向往，使岳飞极受鼓舞。
这时，兀术陷于窘境之中，日益感到东京难保。他已打算夜弃汴京北撤，军师哈迷蚩献计道：道：“太子不要悲伤！京城可守也！岳少保且退矣！”金兀术感到奇怪，忙问：“岳少保以五百骑破吾精兵十万，京师中外日夜望其来，何谓可守？”军师自信地说：“不然，自古未有权臣在内，而大将能立功于外者！以愚观之，岳少保祸且不免，况欲成功乎？”（《金佗稗编》卷八《行实编年》卷之五）兀术听了他意味深长的谏议，顿时有所感悟，于是暂留不动。
军师献的什么计谋呢？原来军师告诉兀术说：“现在秦桧高居相位，我们又何必畏惧岳飞！狼主暂且在这儿安营。只要臣能够到找到秦桧，要他找个机会，害了岳飞，何愁得不了宋朝天下？”兀术大喜，当即取过笔砚，写了封信，外用黄蜡包裹，做成一个蜡丸，递与哈迷蚩，叮嘱他进入中原后，一定要小心。哈迷蚩遂将蜡丸藏好，辞别了兀术，扮成客商的模样，悄悄地往临安而去。
实际上哈迷蚩说的不无道理，当时，尽管岳飞节节胜利，捷报屡奏朝廷，但高宗、秦桧反而加速逼迫岳飞班师。高宗与秦桧在屈膝求和的动机上虽然不同，但是政治立场却是相同的。就高宗来说，对金人始终深怀恐惧，消极情绪一直支配着他，扬州的惊慌渡江，明州的下海逃窜，他记忆犹新，惊魂未定。他对现有的军事力量和各大将部属的作战能力也估计不足，所以即便在军事上每每胜利的情况下，高宗仍深恐万一有失，重现扬州、明州的往事，为此屡诏岳飞不要逾度。高宗此次诏谕岳飞北伐，其目的本来也只希望岳飞在陈、蔡以南打几个胜仗，以迫使金人重开和议，如今目的既已达到，岂能冒险深入？
其次，高宗对诸大将疑忌之心太重，唯恐大将们在北伐中增重威望，扩大权力，将来造成挟重兵以干朝政，甚至重蹈五代藩镇割据篡权的覆辙。因此，他千方百计地要驾驭他们，宁可置大片失地于不顾，宁可偏安于江南一隅，也要限制大将们的权力。
此次李若虚前去宣诏，高宗已经感到岳飞不尊重朝廷，心怀不满。如果再不收兵，岳飞一旦打过了黄河，威信势必更高，实力更强，这对于高宗来说是一个威胁。
第三，高宗也可能从中原民心的向往、岳家军战斗力之旺盛，估计到有可能挥师渡河，直指燕云。但权衡得失，感到进一步的胜利，必然增加钦宗回来的可能性，如果迎回钦宗，那么对自己将会十分的不利。
秦桧向来善于逢迎，深得高宗宠信，在朝中有一手遮天的权力，得意之情自不必说。最为重要的是秦桧了解高宗复杂的内心世界，他知道高宗惧怕金人，一心想要求和，即使在金人败盟之后，他仍敢力主和议。他靠主和而得宠而居相位，一旦失去和议的形势，他就可能失去一切，甚至身家性命也难保。如今宋军在军事上的捷报频传，对他的既得利益无疑是严重威胁。秦桧的心腹之患是岳飞，因为岳飞抗金最为坚决，反对和议最为激烈，在战场上，又是岳飞取胜最多，军功最为显著。如果这个时候不进行制约，宋军将进一步取得优势，到那时，后果将难以设想。为此，秦桧想方设法要使诸大将失利，尤其要使锐不可当、金军闻之丧胆的岳家军失利。
却说秦桧当了宰相之后，生活也更加奢侈，其妻更是觉得丈夫是自己的骄傲，生活上也更加铺张了，她叫工匠造了艘游船，常和秦桧在西湖上游玩。哈迷蚩换装潜入了临安后，听说秦桧同夫人王氏正在西湖上游玩，就来到西湖边。秦桧的游船泊在西湖的苏堤边，夫妇二人正在船上对坐饮酒，赏玩景致。哈迷蚩见了，就走过去故意高声叫道：“卖蜡丸，卖蜡丸！”
王氏无意中往岸上看了一眼，见是哈迷蚩，赶忙低声告诉秦桧。秦桧忙吩咐家人将那卖蜡丸的叫到船上来。家人领命，走到船头上，将那卖蜡丸的人领到船上。秦桧问道：“你的蜡丸可医得了我的心病？”哈迷蚩道：“我这蜡丸专治心病，但要早医，迟了恐怕无效。”说完将蜡丸递上。秦桧会意，赏了他十两银子，哈迷蚩谢赏而去。
秦桧回府，将蜡丸剖开来一看，里面藏的是兀术的亲笔书信，信中写着“秦桧负盟，以致我被岳飞杀得大败。现命你设法谋害岳飞，等我大金得了宋朝天下，情愿与你平分疆土”等语。秦桧看完，与王氏密谋，王氏道：“相公官居宰辅，职掌群僚，这些小事有何难办？岳飞若灭了金国，功高无比，知道我们暗通金国，到时我们一家性命难保。为今之计，不如拖欠粮草，先召他回朱仙镇养马，然后设计害他父子，岂不更好？”秦桧听了，连连点头。
当时南宋战场的形势是：西线，吴璘取守势；东线，韩世忠在淮东，未能紧密配合岳飞军的中线突入，但能起到遥相呼应、牵制金军兵力的作用；中线是主要战场，有三大将坐镇，即岳飞、刘錡、张俊。
于是秦桧便前去拜见高宗，说：虽然我们现在打了胜仗，但是金国兵力强大，如果惹恼了金主，以后必定不会有好日子过，议和才是长远之计啊。高宗听了之后十分赞同，于是高宗与秦桧便从韩世忠、张俊、刘錡三大将的布防上打主意了。他们命吏部侍郎周纲至韩世忠军，传达稳住淮东的旨意，即不准韩部继续前进。
其次，将顺昌之捷中卓有贡献的守臣陈规，调任知庐州，守淮西。秦桧还将刘錡调往江南的太平州。“（刘）錡方欲进兵乘敌虚，而桧召錡还”（《系年要录》卷一三六，绍兴十年闰六月己亥条）。
接着，命张俊从亳州引兵还寿春，退至淮河以南。以上的军事调动，必然造成岳飞军在东京西面、南面孤立突出的态势。高宗认为这就能逼使岳飞奉诏退师。秦桧认为非但岳飞不得不退师，而且有可能陷入金军的包围，这样他就可以借金人之手，消灭岳家军，雪自己心头之恨！金军自然很快注意到了南宋朝廷的军事调动，立即作出了反应。于是兀术集中全部兵力达十二万，插进岳飞统帅部所在地的郾城和岳家军重兵集结地颍昌之间的临颍，企图把岳家军中间分割，分头消灭岳家军。
然而，岳家军“孤军一军，独与决战”，不但没有被包围被打败，反而将金军打得大败。沉重打击岳飞的阴谋未能得逞，秦桧只好降格以求，想方设法迫使岳飞军退兵了。秦桧串通了张俊、杨沂中，并唆使谏官罗振向高宗上了一个奏本，奏中说：“兵微将少，民困国乏，岳某若深入，岂不危也！愿陛下降诏，且令班师！”（《会编》卷二〇七《岳侯传》）
张俊是善观朝廷风向的，杨沂中是高宗的心腹之将，可想而知，他们是附议罗振的主张的，而且高宗本意就是稍胜而退师，以迫金人重归于和。因此这道奏章一上，高宗立即下诏命岳飞措置班师。岳飞收到班师诏，正是郾城—颍昌战役以后，准备直捣东京的时候。岳飞禁不住怒火中烧，于绍兴十年七月十八日，刻不容缓地向高宗上了一道“言词激切”的《乞止班师诏奏略》：金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见。功及垂成，时不再来，机难轻失！
高宗收到岳飞这一封强烈反对班师的奏章，十分恼怒。但考虑到岳飞远在数千里之外的前线，为防止意外，必须克制一下，他给岳飞下了一道语气婉转的御札：“卿且少驻近便得地利处”，同时严格限制岳飞不得单独进军，除非：一、经过与杨沂中、刘錡“同共相度（共同商量）”；二、要“有机会可乘”；三、“约期并进”，才可以行动。这三个条件，就是逼迫岳飞完全停止军事进攻。然而，这封信还没有到达郾城前线，岳飞已挥师向朱仙镇进军了。
几乎与岳飞进军朱仙镇同时，或者更早几天，从临安凤凰山皇宫中，接连发出十二道金牌。李心传《建炎以来朝野杂记》乙集卷九《金字牌》中说：“（金字牌）日行四百余里”，“近岁邮置之最速者”。红漆金字的木牌油亮炫目，“过如飞电”。行人望见骑着快马传送金字牌的“急脚递”，闪避犹恐不及。这十二道金牌，皆由高宗皇帝亲自签发，从临安至朱仙镇长达二千一百多里路，以日行四百余里的最快速度，驰送岳飞幕府。金字牌的内容是：“飞孤军不可久留，令班师赴阙奏事。”
再说岳飞自从在金牛岭打了胜仗，便在山下养兵息马，从各处调集粮草，准备趁兀术溃败之际，直捣黄龙府，迎还二帝。一天，四位元帅正在猜测粮草久候不至的原因，忽然听到有圣旨到。朝廷命岳飞班师，暂回朱仙镇养马，等秋天粮足了，再讨论发兵北伐的事。
钦差走后，元帅们面面相觑，韩世忠尤其激动：“现在成功在即，而皇上不仅不发兵粮，反而召元帅回朱仙镇！这必定是奸臣诡计，元帅千万不可轻易回兵。”岳飞道：“自古君命难违，不可贪功，逆了旨意。”刘錡劝道：“‘将在外，君命有所不受’。元帅不如一面催粮，一面发兵，直捣黄龙府，迎回二圣，将功折罪，岂不更好？”岳飞叹道：“众位元帅有所不知，我因枪挑小梁王，逃命归乡，正值年荒岁乱，盗贼四起，洞庭湖杨幺派了王佐来聘我，我母亲怕我一时失足，在我背上刺了‘精忠报国’四个大字，故而我一生只图尽忠于皇上和朝廷，哪管他奸臣弄权！”
岳飞虽不听众人劝告，心里却明白是奸臣心怀不善，便命岳云与张宪先回家乡，又修书一封，推荐张宪到濠梁做总兵。岳飞正准备给王横安排去处，但王横誓死要留下来跟随岳飞，岳飞只得罢了。
岳飞觉得自己对不起东京那些日夜盼望岳家军前来收复的父老兄弟，临走之前他朝着东方揖手拜道：“十年之功，废于一旦！”岳飞班师，中原父老百姓大失所望。
回师的时候路过蔡州，各界百姓组成的数百名代表出来挽留，都拦阻在岳飞的马前，哭诉道：“我们戴香盆、运粮草来迎接你们，金人都已经知道了。现在岳将军您要是走了，我们该怎么办啊！金人一定会对我们痛下杀手的！”岳飞把朝廷诏书摆在桌子上：“说皇帝已经下了诏书了，岳飞不能违抗圣命啊！”
蔡州人民备遭金军往来烧杀掳掠的痛苦，不愿做亡国奴，一定要跟岳家军走。岳飞思想激烈地斗争着：大军不能留下不走，人民的苦难又不能漠视不顾。他决定把愿意南下的老百姓安置在襄汉六郡。这消息一宣布，蔡州父老百姓欢欣鼓舞，南下的人群，络绎不绝，挤满道路。岳飞为了保护群众往襄汉搬迁，在蔡州停留了五天。岳飞，这位战无不胜、坚不可摧的勇士和战神，这位南宋国家梦想的执行者，也只能给中原大地留下一个伤感而孤独的背影，迫于形势他只得带着自己的军队，朝着相反的方向走了。
岳飞班师之后，金兀术乘机再次抢占了已经收复的京西大片土地，当时，被扣在金国的宋使洪皓，写信给母亲说：“及顺昌之败，岳帅之来，此间震恐。未几而岳帅军回，吴磷兵大败，河南、关西故地，一朝复（为金）尽得。”（洪皓《鄱阳集·拾遗》）这是看得到的直接损失。
当时痛骂高宗和秦桧的声音不绝于耳，但是高宗和秦桧不但没有羞耻之感，反而觉得他们做的是一件挽救百姓的大事，正是他们的议和政策才消除了金兀术的愤怒，因此金人才没有派大量的兵力来收复中原，可见这两个人是多么的怯懦和无耻啊！