岳飞终于还是撤退了，他带着部队有条理地撤退出刚占领的那些地区。表面上，他还是装出要进攻的样子，这就好像当初诸葛亮北伐撤退的时候，还要使出各种计谋吓唬司马懿一样，岳飞同样也虚张声势，让金人兵马摸不着头脑，暗地里再缓缓撤退。否则的话，金人的军队阻断其退路，那就危险了。后来，岳飞的部队顺利回到了鄂州，而不久后，他打下的地区就被金军再次占领了。
岳飞班师之后，赴行在见了赵构一面。这次见面两人之间的气氛非常不好，赵构见岳飞屡次不遵指令，一意孤行，想要北伐，心中感到不满。岳飞对赵构的软弱与狭隘更是愤怒，但他是皇帝，自己也不能拿他怎么样，因此这次见到他，岳飞就以沉默抗衡，不管赵构问他什么他都不回答，只拜谢而已。原本岳飞和赵构之间就有着裂痕，现在岳飞表现出这副样子，赵构对他就更不满了。
其实责任并不在岳飞身上，他并没有错，他所想的一切都是为国为民，并且，他的想法也的确是正确的。出于无奈班师之后，金人的部队就再次卷土重来了，祸害一方，不仅抢回了之前被岳飞收复的地区，甚至开始进攻南宋原来的防线。金人早就探听清楚了，南宋的将领之中，岳飞驻守的地区是最难攻破的，张俊的部队战斗力相对较弱，因此比较好打，于是他们便往淮西地区出兵。
金人的部队势如破竹，很快就占领了许多州县，一路南下。张俊见金军打来，除了慌得不知所措之外，并没有拿出任何行之有效的办法。朝廷一方面下旨给张俊，让他打呀，快点上去和金人打呀，与此同时，让刘锜率军前去支援，防守庐州。刘锜带着士兵连夜赶到庐州，发现这地方根本守不住，因此建议撤退到东关去。他们的部队刚刚撤走没多久，庐州就被金人的大军攻破了。
在这种情况下，赵构就又想到岳飞了，他虽然对岳飞不满，但是岳飞的部队厉害，还有很多地方要倚仗他，因此赶紧下旨给岳飞，让他出兵到江州去，夹击金军，解庐州之围。其实岳飞得知金人进犯淮西的消息时，就已经想着要出兵相助了，虽然他对朝廷不满，但大事当前，个人的情绪只能抛到一边。
根据岳飞的构想，他觉得目前有两条路可以走，一条路是直捣黄龙，围魏救赵，直驱京洛地区，往金人的老窝里打，他们发现自己的大本营受到围攻，肯定要回援，淮西之围也就可以不战而解了。另一条路是去蕲、黄地区，绕到金军背后，与淮西军夹击金人，争取把兀术的部队围而歼之，让他们有来无回。第一种选择可能有风险，“寇方在近，未暇远图”，所以第二种选择也不错。
岳飞刚发出这道奏折没多久，他就收到了朝廷的指令，让他出兵江州，但他还是觉得，去江州不如去蕲、黄地区比较好，对金军更能形成威慑力，因此率军便往那里进发了。后来他的奏折送抵赵构手中，赵构看了之后，也同意他的意见，对他嘉奖道：“得卿九日奏，已择定十一日起发往蕲、黄、舒州界。闻卿见苦寒咳，乃能勉为朕行，国尔忘身，谁如卿者。览奏再三，嘉叹无斁。”
金军朝南宋的防线打了一阵子，势头弱下来了，越打越无力，张俊和王德的部队因此得以收复之前被金军打下的含山县、巢县、全椒县和韶关等地。金军开始缓缓撤退，南宋的部队则在后面追赶。到了柘皋这个地方，金军停下来了，严阵以待，这地方是平原地区，利于金人铁骑作战，他们决定在这里与南宋军队开打，不久之后，张俊、王德、刘锜和杨沂中率领部队先后抵达了。
当时金军布置在这里的大军足有十万人，南宋方面几路大将带来的军队也有这么多，双方相遇之后随即便展开厮杀。金人的骑兵果然厉害，杨沂中带兵打过去的时候，遇到了激烈的反弹，马上又被打了回来。王德的部队见此冲上去帮忙，瞄准金人的侧翼进攻，王德还一箭把金人的大将给射死了。麾下部队士气大振，全军乘势而进，一齐冲了上去，金军因此被杀败，败走紫金山而去。
张俊在这时觉得不该继续追击金人，而是应该趁着金人被杀败，庐州守卫力量薄弱之际，将其收复。于是他带着军队前往庐州，当时那里并没有多少金兵，因此张俊很容易地把这座城抢到手了，不久之后，刘锜和杨沂中的部队也到达了庐州城中，他们暂且驻守在城里面，以观金人的进一步举措而行事。
朝廷得知部队在柘皋这个地方杀败金军之后，下旨给张俊等大将，先是把他们表扬了一番，然后告诉他们说，别把金人逼得太紧了，以防他们做困兽之斗，给己方军队造成不必要的伤害。这看上去好像是一心一意为了部队着想，其实赵构的心里还是不愿意与金人彻底决裂，虽然双方在打仗，赵构不时还是会对金人眉来眼去，向他们传达信息，他是不愿意与之交战的，彼此还能讲和。
张俊的部队在柘皋取胜之际，岳飞的部队刚抵达舒州。张俊觉得，现在局势非常稳定，甚至听说金人已经渡淮，要回老家去了，岳飞的部队不需要再来了。岳飞因此便屯驻在舒州，不再前行，并上书给朝廷，报告了这一情况。赵构下旨褒扬他说：“得卿奏，知卿属官自张俊处归报，虏已渡淮，卿只在舒州听候朝廷指挥，此见卿小心恭谨，不敢专辄进退，深为得体，朕所嘉叹。”
事实上，张俊得到的消息是金军故意散布出来的烟幕弹，他们并没有渡淮，而是埋伏在了濠州附近。但是在表面上，他们却装出要渡淮的假象，并且装模作样地派遣了一支军队渡过淮水，还故意放出军中俘虏，让他们把这一消息告诉张俊。张俊得知这一消息之后，完全相信了，以为金军真的已经渡淮了，因此觉得接下来没什么事了，就让刘锜先回去，他和杨沂中前去善后就行。
结果刘锜刚走了两天，有人就向张俊报告，金军在猛攻濠州，吓得张俊赶紧派人去把刘锜叫回来，三路大军往濠州进发。抵达的时候三人意见不一，张俊和刘锜比较持重，认为金军诡计多端，变幻莫测，他们还是看看清楚眼下的情况，再作打算比较好。不过杨沂中却认为，正应该趁着金人刚攻下濠州，立足未稳之际，杀他们一个片甲不留，说完他就带领自己的部队前去攻城了。
这一战杨沂中并没有打赢，攻城没攻下来，反被金军打得落花流水。张俊得知杨沂中被打败，马上带着部队前去支援。杨沂中的部队尽管看到有人马前来支援，但是依旧一个劲地逃跑，造成了一个特别有意思的情况。两支部队，一个使劲地逃跑，一个却奋勇冲杀，逆向而行，落差极大。金军见了之后，只顾好奇地看着，都没心思继续追击了，退回了濠州城，结束了这场战役。
濠州发生了这样的事情，朝廷闻讯马上下旨给了岳飞，让他前去支援：“据报：兀术用郦琼计，复来窥伺濠州。韩世忠已与张俊、杨沂中会于濠上，刘锜在庐州柘皋一带屯军。卿可星夜提精兵裹粮起发，前来庐州就粮，直驱寿春，与韩世忠等夹击，可望擒兀术，以定大功。此一机也，不可失也。”
岳飞收到指令立即出发了，从舒州开拔，前去庐州，赵构因此又下达一道“御札”，表扬岳飞说：“得卿奏，卿闻命即往庐州，遵陆勤劳，转饷艰阻，卿不复顾问，必遄其行。非一意许国，谁肯如此。据探报：兀术复窥濠州。韩世忠八日乘捷至城下，张俊、杨沂中、刘锜先两日尽统所部前去会合，更得卿一军同力，此贼不足平也。中兴勋业，在此一举，卿之此行，适中机会。”
岳飞赶到庐州的时候，情况又改变了，张俊等人的部队在濠州吃了败仗，被打得晕晕乎乎。韩世忠的部队想要前去支援，走水路，沿淮水而上，走了一阵子，他听说金军正在下游砍伐树木，要堵住他部队的退路，把他围歼。韩世忠得此消息就不去打濠州，掉头回去了。面对这样的情况，各路部队均已撤退，岳飞留下来也无所作为，因此权衡之下，他也决定撤离，重新回到了舒州。