绍兴十一年（1141年）六月，张俊、岳飞奉朝廷之命前往楚州（今淮安）去检阅改编韩世忠的旧部。张俊自认为这次来找韩世忠旧部的麻烦，是以他为主，他作出什么决定，岳飞是不敢反对的。但结果并不如此。他们经过镇江时，先把驻扎在当地的韩家军调往校场检阅。张俊想把这支韩世忠的亲卫军拆散，分别编进别的队伍中去，岳飞立即提出反对。他郑重地对张俊说：“绝不能这么做，国家目前真能领兵作战的就只有我们这几个人。要图恢复，也只有靠我们。万一国家再要韩枢密出面领军，我们有何面目与他相见！”张俊被问得哑口无言，对岳飞更加反感。
他们到达楚州，韩家军的中军统制王胜率领一支全副武装的士兵前来会面。张俊觉得心虚，就质问王胜，你们来和我见面，为何要全副武装？王胜坦然答道：“枢密（指张俊）是来检阅兵马的，我们当然应以全副武装相见。”
张、岳两人按照军籍名册点视了韩家军的全部人马，这才知道，这支雄踞淮东十余年的韩家军，总共只有三万人马。就是这么一支人数不多的队伍，不但使得金兵不敢轻易进犯，而且还有余力去北图山东，连获胜利。就在楚州这么一座人口不多的小城市，竟然积蓄了军储钱百万贯，米九十万石。岳飞对此不禁感到由衷的钦佩，而且对于这样治军有方的韩世忠，也深为赞叹，认为这才是一位治军的奇才。
他们巡视楚州城墙的时候，看到有不少倾圮之处。张俊提出应该把城墙修好，以便防守。岳飞默不作声。张俊再三要他表示意见，岳飞却说：“我们蒙国家厚恩，当相与努力，恢复中原；今若修筑楚州城池，专为防守退保之计，将如何去激励将士？”这真是话不投机半句多，张俊听后，怒不可遏，就迁怒于当时的两名守兵，说他们守城不负责任（城墙有倾圮处），下令把他们斩首。岳飞再三劝阻，张俊就是不听。不久，两颗人头落地。事后，张俊在朝内朝外到处散布谣言，说是岳飞曾经当众宣言：“楚州不可守，城墙不必修。”说他主张放弃淮南，退保长江，以此来诬蔑岳飞。其实，谁主张收复失地，谁主张退保长江？大家早就了然于心，故意污蔑，贼喊捉贼，又有何用！
这次楚州之行，岳飞还发现了一个大阴谋，就是赵构、秦桧、张俊这一帮人为了置韩世忠于死地，已经开始制造一桩冤案。原在韩家军总管钱粮的胡纺，此时已受秦桧、张俊收买，出面诬告韩世忠的部下耿著“鼓惑众听，希图生事”（散布不满情绪，鼓动大家闹事），耿著已被逮捕入狱，被判“杖脊、刺配吉阳军牢城”。他们是想把此案一直追下去，以达到株连韩世忠本人的目的。
岳飞知道了此事的内幕，简直心胆俱裂。且不说韩世忠带兵二十余年，为国家立了不少功劳——他曾经中过敌人的毒箭，毒性入骨致残，一双手伸出来只剩四个指头，就凭他在苗、刘之变中舍命平叛，救了赵构性命这一点来说，赵构也不应该恩将仇报，一定要置他于死地。岳飞怒气填膺，回到杭州就连夜来找韩世忠夫妇，把这一阴谋和盘托出。梁红玉听说后，怒不可遏，亲自去找赵构，揭开此事。阴谋既已揭开，闹得人人皆知，也就很难再照原计划进行，结果救了韩世忠。
岳飞勇敢地揭开宋廷陷害韩世忠的阴谋，使这一阴谋未能得逞。赵构、秦桧、张俊等人就把怨毒之气全部转移到岳飞头上。于是，他们立即下手，整治岳飞。在张俊、岳飞两人回到杭州之后，由秦桧指使其死党、右谏议大夫万俟卨上奏章弹劾岳飞，弹劾内容有两件事：一是年初淮西之战，朝廷命岳飞出师，岳飞逗留不进。二是岳飞在巡视楚州时，当众扬言楚州不可守，沮丧士气，动摇人心。因此，请免去他的枢密院副使职务，出之于外，以伸邦宪。当时岳飞名望很高，要把他打下去，不由皇帝亲自出面，难以见效。绍兴十一年（1141年）七月，赵构在朝中议事之时，根据万俟卨的奏章公开批评了岳飞。对于弹劾岳飞的两件事，他不提“奉命出师，逗留不进”一事，因为他知道这不是事实，有许多来往公文可以作证，根本不能成立，只说岳飞不应该说“楚州不可守，城墙安用修”这样的话。认为岳飞说话如此不慎重，“联何赖焉”？
皇帝发了话，秦桧立即随声附和说：“岳飞对人之言乃至于是，中外之人或未知也。”言下之意是应该多多宣扬，让大家都知道。
就在赵构公开批评岳飞的第二天，抗金名将刘錡兵权被夺，调任文官。南宋绍兴十一年（1140年）六月的顺昌大捷，使刘錡一战成名，从此以后，金兵见到他的旗帜就觉得胆寒。可是，凡是抗金有功的人，都不免被赵构、秦桧、张俊一帮人所仇视。张俊曾经派出自己的部下，到刘錡的营地去纵火抢劫，制造事端，却被刘錡当场抓住十余人，枭首示众。看到这些良将被贬，奸佞横行，岳飞着急了，他不避嫌疑，挺身而出，向赵构上书：“请留刘錡掌兵”，但是赵构迳批“不准”。看到国事日非，北伐无望，岳飞十分悲愤，于是上表辞职，请求解甲归田。这年八月九日，赵构批准他辞去枢密副使的职务，给他一个万寿观使的闲差，让他返回庐山家中闲居。
这时正是三伏酷暑天气，烈日当头，挥汗如雨。岳飞从车水马龙的杭州回到庐山的竹篱茅舍，见到周围的青山翠谷，暑意全消。十余年来戎马仓皇，他从来没有时间和夫人共谈国事、家事，这时罢职回家，总算能够有时间和夫人长谈了。
他无限柔情地向夫人表示歉意，觉得自己一直在外奔走，无法照顾家庭，多年来，侍奉老人，抚养子女，全由夫人承担，深感过意不去。夫人连忙说：“相公！你为国家承担重任，家里的事，是我应该做的，难道我还有什么抱怨不成！好了，这一次朝廷能够放你回家，一家人也可以过太平日子，不像过去那么成天担惊受怕了。你如今已经是交了兵权，免了职务，总不会再有什么麻烦找到你的头上吧？”
岳飞把这几个月中国家大事的变化告诉了夫人，夫人叹息不已，她安慰岳飞说：“相公！这不是你不愿为国家出力。他们互相勾结起来要跟你过不去，你有什么办法！也好，你也可以安心在家里修养一段时间，治一治老毛病了。”不过她又长叹一声说：“要你安心在家养病，这又谈何容易！中原未复，国耻未雪，你又怎么能安下心来！”岳飞点头说：“你真是我的知己！”
夜色苍茫，孤灯如豆。
岳飞南征北战十余年，八千里路云和月，常年在外奔波，很难在家里停留几天，和夫人、子女共享天伦之乐。他这一生，能够安安静静地过上一个多月，也就只有这一次，从八月中旬辞职回家，到十月上旬又被杨沂中喊走，一去不回。