岳家军的初建，更是增强了岳飞抗金的信心，但是最初的环境并不像他想象得那么好。金人的军队像决了堤的洪水一样席卷而来，宋高宗的逃亡使军心浮动，将士们深感前途渺茫。他靠着坚定的意志和满腔的爱国热情，一次次鼓舞着士气，度过了缺粮少衣的寒冷冬季。他带领着自己的军队神勇地平定了一方的土匪，同时也招纳了一批爱国的义士，壮大了岳家军，使之成为一支英勇的队伍。
岳家军是南宋初年岳飞领导的抗金军队。岳家军实际上只是民间对于岳飞崇敬的一种说法，但是并不为朝廷所承认。南宋时起义军蜂拥而起，有很多都投靠了岳飞。然后那些归顺岳飞的农民军队就自称为“岳家军”，这个称呼也得到了广大人民的认可。由于岳飞武艺高强，为人忠直，因此岳飞在士卒中的威望很高，很多人都自愿追随岳飞。
岳家军以牛皋、董先各部义军为主要的骨干，后陆续收编杨幺等农民起义军部众，吸收山东两河忠义社梁兴、李宝等，汇成浩荡的大军。岳飞军纪严明，加强训练，号“冻死不拆屋，饿死不掳掠”，金贵族有“撼山易，撼岳家军难”之语。部队久驻鄂州（治今湖北武昌）、襄阳，世居其地，南宋末年抗金将士的子孙都曾经加入岳家军，为抗金斗争作出过突出贡献。
完颜宗弼占领建康府后，曾经扬言要活捉高宗，高宗吓得魂飞魄散，立马调转方向从明州乘船经海上逃到温州避难。
完颜宗弼占领明州后，几经周折却没有捉到宋高宗，于是十分愤怒，决定劫掠一番之后撤兵。金军利用大运河，将劫掠所获用船运往北方，一路攻破秀州、平江府、常州，准备自镇江府北渡。三月，完颜宗弼被韩世忠所部八千余人在黄天荡拦截，被困四十日。因为有汉奸献策，金军掘通河道，将船队经秦淮河引入建康城西的长江江面。韩世忠赶去攻击，却被金军的火箭击退。
在此期间，岳飞带领东京留守司军的残部转战广德军，六战皆捷，俘虏王权等伪军将领四十多名。但是这个时候，岳家军因此处于相当困难的境地，粮食已经吃尽了，但是岳飞带领的军队宁可忍饥挨饿，也没有去村中扰民。
建炎四年（1130年）初春，宜兴知县钱谌，听说岳飞的威名和岳家军的状况之后，立即写信告诉岳飞说县里的存粮够一万人吃十年，欢迎他率军保护县境。二月，岳飞应邀进驻宜兴，屯于张渚镇。在宜兴，岳飞收降了因政局混乱而在当地为匪的多支部队，以及金军强征来的河北伪军。岳飞自己就是北方人，平等对待河北、河东等地的伪军。伪军们都传话说：“这是岳爷爷的军队。”很多人都来投降。
之前在杜充投降金国之后，他手下的士兵们都感到深深的迷茫和无助。皇帝、统帅都投降了，我们还抵抗什么？国家已经没有了，我们还抵抗什么？于是，众多将士一哄而散，转做抢劫、掠夺的盗匪勾当去了。
只有岳飞的部队仍然坚持在建康附近打游击战，秋毫无犯。岳飞相信自己还是南宋的军队，是皇家的军队，是国家的军队。但一些游兵散将经常跑到岳飞面前，恳请他当首领，带领所有将士，投降金国去，因此搞得军心动荡。面临这样的艰难时世，这样的尴尬处境，岳飞觉得有必要组织大家进行一番陈词了，于是岳飞召集自己的士兵，慷慨激昂地说：
“今天又有人来劝我投降，我没答应。现在局势动荡不安，你们有这样的心情，我可以理解，但是我岳飞生为南宋的人，死是南宋的鬼，跟着我岳飞的就是杀金人的，不愿意跟随我岳飞的现在就可以走，但是日后刀、箭无眼，就别怪我岳飞不客气了。”话音落下，掷地有声，将士们都不敢出气。
岳飞激昂的言辞让他们深受鼓舞，留下来的，没有人再敢萌生二心。军心稳定之后，岳飞的军队渐渐庞大起来。
国家的战线在哪里，岳飞就在哪里。以前岳飞在黄河流域和金人战斗，现在在长江一带和金人周旋。
金兀术率领的军队过了长江以后，一路南下，刀光闪亮，呼声如潮，开始攻城拔寨。
岳飞在今天的安徽广德境内拦截了金兀术的军队。当时广德已经沦陷了，那里地势起伏，原野开阔。岳飞神出鬼没，和金人打了许多场战争，每次都将金人打得落荒而逃。金人的骑兵到了江南之后，像是陷入了泥泞之中。江南虽然很美，但不是跑马的地方，不是北方的草原和白山黑水。偏偏这时，金人又遇到了岳家军。在混乱、懦弱的南宋小朝廷统治的国度里，遇上一支能打败自己的军队，真的不容易。
岳家军的建立，应该从1130年初杜充叛变投金开始算起。但是岳家军还只是一个口头的称呼，并不是一个正规的编制，在正式的场合是不会出现的。古时习惯以统帅的姓氏来称呼某军，比如张俊部可称为“张家军”，韩世忠部被称为“韩家军”等。有人揣测“岳家军”名称具有私军性质，应该是导致岳飞后来被杀的原因之一。实际上这只是一小部分的原因，南宋时期重文轻武是很普遍的事情，最重要的原因是南宋统治者胆小怯懦的本性，对内部将领缺乏信任，这才是南宋一直被金人踩在铁蹄下的主要原因。
后来岳家军又收编了傅庆、郭吉等人，傅庆是卫州窑户出身，他原是戚方部将，在马家渡之战后追随岳飞。两人都是能征惯战的勇将，成为岳飞的左右手。
当时在宜兴县境，还有三支猖獗的土匪。马皋和林聚各有几千人，岳飞派遣辩士劝降，得到了成功。另一支土匪，头目号称张威武，不肯投降。岳飞单骑闯进他的巢穴，乘张威武惊愕之际，将他斩杀，其部下也被编入岳家军。
在内祸外患交迫的岁月里，广大民众的生命财产朝不保夕。居然进驻了一支与众不同的军队，对民间秋毫无犯，这不得不使宜兴的百姓交口称赞，人们用朴素的语言称颂岳飞，说：“父母生我们比较容易，将军护卫我们却比较艰难。”
甚至很多外地人也争先恐后地移居宜兴县避难。按中国古代的隆重礼节，宜兴人民出资为岳飞建造生祠，以表达大家的感激之情。古代的祠庙用于尊崇先贤、祖宗，以至神仙鬼怪之类，为活人营建生祠，乃属特例。当地民众简直将岳飞尊奉为神人，这在古代是非常罕见的。