南宋初年，社会一直动荡不安，迫于生计，很多身强力壮的青年上山为寇贼。朝廷无力控制各支军事武装，兵将骄悍难制，“诸军动则溃，溃则盗，盗则招，招则官，反复循环，无有穷已”。各武装集团溃散、火并之事常有发生，分合无定势。岳飞素以治军纪律严明著称，他的军队作战勇猛，军纪严明，因此许多溃散武装集团纷纷投靠岳家军，成为岳家军中的招降将领，如傅庆、杨再兴、梁兴、孟邦杰、胡清等。
傅庆，原来只是卫州的小小窑户，原来是建康留守司统制戚方的部下。建炎三年（1129年）戚方叛逃，岳飞率领自己的军队前去招降，傅庆率领自己的队伍归降岳飞，建炎四年（1130年）与王贵在宜兴的时候，曾经展现出威猛的战斗力，大败郭吉；又随岳飞大败叛将戚方。傅庆骁勇善战，屡次立下奇功，但是这个人居功自傲，屡次向岳飞索要钱财，岳飞因爱惜良才，所以不曾计较。他因为不喜欢岳飞严格的军纪束缚，也曾谋投刘光世军，建炎四年（1130年）十一月为岳飞所杀。
杨再兴，原来是曹成的部下，绍兴二年（1132年）随曹成与岳飞战莫邪关。杨再兴杀掉了岳飞的弟弟岳翻和第五将将官韩顺夫，令岳飞心痛不已。后来他被张宪捉住，因为仰慕岳飞的才能，与岳飞结为兄弟，追随岳飞。杨再兴追随岳飞之后，率所部收复长水县及西京险要之地，直逼蔡州，中原响应。绍兴十年（1140年）郾城之战更是展现出了出色的战斗力，单骑入阵擒兀术，兀术仅以身免。与金人战临颍县，率三百骑开路军与金军主力猝遇，战于小商桥，杀敌两千余人，斩万户撒八李董及千户数人，因为敌方人多势众，身受重创而死，是岳飞比较看中的部下之一。
梁兴，原来是河北太行山忠义社的首领。梁兴也是岳家军中一个比较出众的将士，在一次与金兵交战的斗争中，杀死敌人头目三百多人。绍兴六年（1136年）正月，梁兴率百余人渡河投靠岳飞，被岳飞任命为湖北、京西宣抚司忠义军统制。绍兴十年（1140年）七月，梁兴会同赵云、李进等渡河，破金兵于绛州垣曲县，又捷于沁水县，收复济源、翼城县；会合乔握坚克复赵州，岳飞班师后，梁兴仍留在河北抗金，收复怀、卫二州。绍兴十一年（1141年）返回南宋，官至亲卫大夫、忠州刺史，任鄂州御前选锋军同统制。
孟帮杰，原来是刘豫的部下。刘豫叛变之后，孟邦杰慕名前来归降岳飞。绍兴十年（1140年）七月，岳飞北伐，派遣孟邦杰经略西京、汝、郑、陈、光、蔡诸州，作为援助力量。孟帮杰统制忠义军马收复南城军，杀金兵三千余人，夺得金兵无数的器械，又乘胜收复永安，是一个比较勇猛的大将。
胡清同孟邦杰一样，原来也是刘豫的部下。绍兴八年（1138年），胡清率十余将归附南宋，宋廷诏胡清等隶岳家军，任选锋军副统制。绍兴十年（1140年），金兀术、韩常攻颖昌府，胡清与董先率所部守城，同岳飞的长子岳云里应外合，夹击金兵，杀其统军夏金吾、擒千户等七十人，杀死金兵五千人，取得了卓越的功绩。
岳家军兵精将强，成为朝廷的一支王牌劲旅，只要边防军情紧急或内地寇盗充斥，必调岳家军应付战事，并拨隶一部分当地军队归岳飞指挥。绍兴三年（1133年）九月，岳飞第二次朝见宋高宗。宋高宗亲笔书写“精忠岳飞”四字，绣成一面战旗，命岳飞在用兵行师时作为大旗。又任命岳飞任江南西路舒蕲州制置使，将驻守蕲州的统制李山，屯扎江州的统制傅选两支部队并入岳家军，将淮南西路舒州和蕲州的防务并入岳飞的防区。岳家军的军号也由“神武副军”升格为“神武后军”。
在抗金斗争中，有些将领战事结束仍回归本司，但是有相当一部分的士兵则因之编隶岳家军中，成为岳家军中的拨隶将领，从而也壮大了岳家军。
这些拨隶将领中，也有一些骁勇善战，屡立战功的名将，为抗金斗争作出了重要的贡献。
牛皋，汝州鲁山人，先隶京西制置使翟兴为射士，后来归属杜充部下，因为大战金兵有功，后被升迁为荣州刺史、留守司中军统领。绍兴三年（1133年）李成南侵，牛皋失镇，宋廷诏隶岳飞。任岳家军中部统领，绍兴四年（1134年）破随州，复襄阳，又与金人战庐州，皆获得大捷。绍兴五年（1135年）平杨幺，除武泰军承宣使，升湖北、京西宣抚司左军统制。绍兴十年（1140年）岳家军北伐，牛皋出兵沛、许，以功最除捧日天武四厢都指挥使、成德军承宣使。绍兴十一年（1141年）宣抚司罢，改任枢密行府提举一行事务、鄂州御前左军统制。绍兴十七年（1147年），被鄂州御前诸军都统制田师中毒害。
李兴，原为河南府兵马钤辖，知河南府。绍兴十年（1140年），伪齐将李成南侵，李兴率领大军前去抵抗，后来撤退到永宁白马山。岳飞奏乞李兴归隶岳家军，朝廷诏允。岳飞差李兴兼湖北、京西宣抚司左军统制。岳家军北伐，李兴率所部战河南府，又战永宁军，都取得了胜利。
郝晸，原为湖南安抚司统制官，从荆南制置使王王燮讨湘寇，不禀号令。绍兴五年（1135年）岳飞赴湖湘平杨幺，诏令其拨隶岳家军，任中军副统制。绍兴六年（1136年）与王贵、董先攻卢氏县克之；又与伪齐西京留守司统制郭德等战邓州，生擒郭德，招降千余人，获马五百匹。绍兴十年（1140年）随岳飞北伐，率所部赴京西援李兴，收复西京。
随着岳家军的逐步壮大，岳飞的名声越来越响亮，金人听到岳家军的名号都会闻风丧胆，这在一定程度上遏制和打击了金人。