为了更好地取得战斗的胜利，朝廷将北伐的军力分为左右两翼，当时在朝廷担任右丞相的张浚是一个主战派，宋高宗让他兼任都督诸路军马，主管全部防务工作。张浚把他的都督府设在干江府（今江苏苏州市），力图在北伐方面有所作为。
绍兴六年（1136年）二月，右翼韩世忠自楚州渡淮北上，长驱直入，攻下宿迁。但攻淮阳军时，由于伪齐军防守严密，韩世忠攻城六天不能下；到了第七天，金军援兵赶到，韩世忠只得退兵楚州。过了两个月，韩世忠与金人再战于淮阳军，这次因张俊害怕韩世忠吞并他的部众，不肯派兵增援，韩世忠无功而还。东线北伐受阻。
在这关键的时刻，岳飞却收到了一个不幸的消息，母亲病逝了！岳飞对母亲的孝心人尽皆知。两年前，岳飞攻克襄汉六郡后，就曾经因为母亲姚氏病重，上奏给宋高宗，恳请解除军务。现在岳母去世，对岳飞来说，简直是个天大的打击。
听到消息时，岳飞一个踉跄，几乎要晕倒。整整三天，岳飞连水也没喝一口，只是小声啜泣，双眼红肿，眼疾也随之复发得更厉害了。
姚氏这一生，含辛茹苦，将儿子养大，送子参军报国；后来在沦陷区饱受忧患和病痛的折磨，颠沛流离到了南方，又因水土不服。这个年过古稀的老人，在绍兴六年三月二十六日与世长辞。
岳飞是一个恪守孝道的孝子，他对母亲从来都是非常温顺体贴的。虽然军务非常繁忙，但只要能抽出时间，岳飞总是亲自调药换衣，将母亲照顾得无微不至，平时在母亲跟前举止都特别轻微，生怕惊动了母亲。
当时，故乡汤阴还在沦陷之中，姚氏想要魂归故里，已是万万不可能。岳飞奏报朝廷，宋高宗特地赐白银一千两、绢一千匹，并赐葬江州（今江西九江）。
隆重的丧仪开始了，岳飞和岳云跣足徒步，扶着姚氏的灵柩，前往江州的庐山。岳飞为母亲进行了厚葬。丧葬完毕，岳飞就在庐山著名的古刹东林寺里守孝。
这期间，岳飞悲痛万分。为追思母恩，他还在母亲墓后建了一个亭子，起名叫“叠翠亭”。每天，岳飞都要来到亭子里，守望着母亲姚氏的墓地。
按封建社会的惯例，岳飞必须“丁忧”（守孝）三年，只有情况特殊，才可停丧做官，这叫做“起复”。岳飞上书要求解职守孝，但是形势并不允许身系北伐挂帅重任的岳飞在庐山久留。驻守两淮的韩世忠等部已经行动。
岳飞以孝出名，他坚持要守孝，但是国难当头，宋高宗和朝中大臣绝对不会允许。宋高宗命令宦官邓琮前往东林寺，劝说岳飞还朝。但岳飞又拒绝了朝廷的特召命令，仍要求为母守丧。
这在当时也是一件极受赞誉的事，因为这表明他没有恋职恋权的野心。当然，岳飞拒绝特召命令完全是出于至诚，因为他太怀念母亲了。
而此时，伪齐的将领王威乘机攻进了唐州，杀害了两名南宋朝廷的重臣，形势非常危急。
为岳飞筹办北伐钱粮的江西制置大使李纲，也在催发，部分给养已经往郢州解送。岳飞不得不放弃礼法，拖着因悲痛而日渐消瘦的身体，从江州（今江西九江）带兵出发，到达襄阳。
他按照母亲的样子刻了一尊木像，随身携带，在兵营中仍然对着木像晨昏定省，就好像母亲还在世一样，以此来寄托自己的对母亲的思念。