岳飞来了河北之后，遇见了他生命中又一个贵人，这个人就是张所。赵构即位之后曾经任用李纲为宰相，在此期间，李纲曾经向赵构推举张所为河北招抚使。在赵构即位之初，他是监察御史，曾上疏劝主把重建的宋政权仍迁回开封，以便控制作为天下根本的河东、河北地区。还曾上疏条陈两河利害。他对于当时已经哄传的宋朝廷将要南渡的计划，极力反对，因此对于提出南渡主张的黄潜善也曾加以纠劾。张所虽因此而被罢免了官职，但是却赢得了极高的声誉。特别是在河北地区——用当时人的话说，是“声满河朔”。
岳飞回到家乡之后，金军由完颜兀术（即完颜宗弼，金太祖完颜阿骨打第四子）统率大军南侵。岳飞寝食难安，砍柴挑水也总是想着抗金的事情，一天，岳飞实在是待不下去了，听说河北招抚使张所正在招募天下的英雄豪杰共同抗金。岳飞觉得张所是一个忠心报国的良将，而且对自己来说也是杀敌报国的机会，于是便连夜赶路赶到河北，投靠了张所。张所不知道岳飞曾经是一个军官，有一次他听人说岳飞神勇，就问岳飞：“你一个人能打几个人？”岳飞回答道：“我一个人能杀千万人马。但我觉得，用兵打仗最重要的是谋略。我在路上时一直都在看兵书，研究战术。”
张所听了岳飞的话之后，觉得岳飞确实是一位了不起的军事奇才，岳飞不光对《孙子兵法》十分熟悉，而且还畅所欲言谈了自己对兵法运用的一些看法。张所听罢，不禁频频点头，他很赞同岳飞的说法，也很佩服他的才能。
最后，张所又同岳飞探讨了河北的军事形势。岳飞毫不拘束地说出了自己的观点。他认为河北地区在宋金对峙中有极为重要的战略地位，如不收复河北，不仅汴京难保，甚至直接危及江淮，对金作战的第一个目标就是收复河北失地。
他谈到金兵两次南下，河北各地连连陷落，人民流离失所，国无宁日的时候，不禁感慨万千，心情沉痛地表示自己要以身许国，决心追随张所，出师河北，收复失地。
张所非常欣赏岳飞，于是立即派他任中军统领，跟随都统王彦带七千精兵渡过黄河去攻打卫州的新乡等地。岳飞亲自率领一支军队杀向敌方，金军溃散而逃，被杀得人仰马翻，最后连大旗也被岳飞夺得。
金人见岳飞如此勇猛，都十分害怕；宋军见自己的将领如此威猛，个个士气鼓舞。岳飞在此次战斗中活捉了金军千户阿里孛，使新乡又回到宋朝掌管之中。
岳飞突围后，与金军在侯兆川（今河南省辉县西北）交战，身上伤痕累累，士兵们拼死应战，再次击溃敌人。岳飞和将士们屯扎在石门山下修养兵力。
晚上，探子来报，说金兵可能马上来到。将士们惊骇万分，但岳飞十分冷静，他命军队坚守营寨，就地休养。金兵见岳飞没有动静，想要攻打，但是惧怕岳飞的勇猛，一时之间不敢有所行动。
不久粮食吃完了，岳飞到王彦那里要粮，王彦不给。岳飞就带兵向北进发，与金军在太行山交战，生擒金将拓跋耶乌。
岳飞作为一个副将，却在战斗中发挥了主力的作用，立下了大功。这确实让身为主将的王彦很没面子，于是在战斗中王彦故意为难岳飞，对岳飞不配合不支持。但是岳飞在这种艰难的环境下，还是打了几个漂亮的仗，把敌将黑风大王刺于马下，活捉金兵统帅拓拔耶乌，吓得敌军闻风丧胆，还缴获了很多的敌方战利品，因此金兵都称岳飞为“岳爷爷”，看到“岳”字大旗就吓得魂飞魄散。
不幸的是，做了皇帝的赵构虽然任用李纲为宰相，但是赵构本身也是个胆小怕事之人，尽管也拟订了一系列的抗战计划，却没有认真地执行过。赵构一心想把新建的宋政权迁往南方，朝廷中黄潜善和汪伯彦二人还极力地奉承赵构，诋毁李纲的军政措施。
张所极其受李纲的重视，被推荐出任河北招抚使，因而他在任事之初就成了黄、汪一派人攻击的目标。当张所还在开封招集将佐时，他就提出了关于把他们就提出弹劾说：“把招抚司设在大名府是不合适的，想调用大名府的戍兵和兵器、军需品是会造成骚扰的。”
另外，被李纲推荐出任河东经制副使的傅亮，在他准备工作尚未就绪之时，就被汪伯彦诬告为故意拖延，黄潜善也在赵构的面前煽风点火，说他的坏话。赵构一怒之下，就下令把河东经制司废罢了，这实际上等于是砍断了李纲的左膀右臂。之后殿中侍御史张浚又见风使舵，迎合着黄、汪的意旨而论奏李纲犯了十几项罪状，不久之后，李纲就被正式地罢免了。这使得他身为宰相的时候做出的一些努力也付之东流了。傅亮见赵构昏庸，听信谗言，于是以母病告归。河北招抚使张所被贬谪到岭南。张所到岭南不久，就因病死了。
张所的死，让岳飞十分悲痛，张所对岳飞的知遇之恩，自然使岳飞满怀感激之情。几年之后，岳飞已被升擢为带兵的大将，因为立了一次战功，南宋朝廷要授予他的儿子一个官衔，岳飞特别为此上事奏请，把这一官衔让给了张所的儿子张宗本。
张所虽被罢免，但岳飞、王彦等组建的军队并没有解散，而是依照原订的计划继续与金军相抗。建炎元年（1127年）的九月下旬，在都统制王彦的率领下，统制官岳飞、张冀、白安民等十一人，以所部七千人，渡过黄河去进攻金军，当天就夺回了卫州的新乡县城。
夺回新乡县城之后，王彦向附近的各州郡散发文告，以新乡作为据点，联合各地的忠义民兵，使正规军和人民武装力量结合起来，一时声势浩大，气势迫人。女真军事首脑看到这种气势，以为是宋朝的大军开来了，便赶快抽调了几万人马来围攻新乡。新乡城中的七千人马既和外面相隔绝，装备和粮饷又皆处于极缺乏的情况下，敌人的攻势却愈来愈猛。为保存这一支战斗部队，他们最后决定突围而出。
冲出重围之后，在商讨出击的对策的时候，意见发生了冲突。有几个统制官干脆和一些士兵们一起逃跑了。虽然岳飞和王彦都主张继续战斗，但是岳飞却不肯继续听从王彦的指挥，于是便率领自己的小队人马自行离去，之后便带领着部下投奔了开封府的宗泽。