在岳飞扫平了江西巨寇李成、张用之后，绍兴二年（1132年）正月，高宗搬回了临安（今杭州市），为什么他突然搬回了临安呢？这是有原因的，临安离金人比较远，相对来说比较安全，即便是金军突然来袭，自己也好有逃跑的时间，并且临安这个地方山清水秀，适合游乐。
但是事情并不像高宗期望的那样美好，还没有享受两天清闲的日子，麻烦就又来了。建部于东南一隅的临安以后，不便国家的号令迅速地通告四方，尤其是在西起川陕、东至江淮长长的战线上，当中有一段，即两湖之地，当时被游寇割据，更阻碍了政令的通达、部队的调度。
一方盗贼消灭了，另一方盗贼还在猖獗，张用的队伍并没有完全地肃清，从他手下分裂出来的队伍，仍在为害一方。这些盗贼平日里相处并不融洽，但是只要遇到官兵前来讨伐，就会结成一伙。荆湖游寇如不扫平，则东线、西线不能相连，东南不能与陕、川相通，于抗金斗争和国家安危关系极大。
这其中曹成尤为厉害，曹成拥有七万之众，其中精兵强卒达三万人之多，气焰非常嚣张，杀官掠民，无恶不作。
这种恶寇，能去降服他的也只有岳飞了，于是岳飞再次受命，前去讨伐寇贼。绍兴二年（1132年）二月十七日，岳飞从南昌发兵。远在数百里之外的曹成，立即打听到消息，马上告诉部下：“岳家军来矣！”随后安排部下分头逃窜，自留中军在贺州（今广西贺州）。岳飞沿赣江上游，穿过武功山与万洋山之间的谷地，三十日到达湖南茶陵。岳飞希望能招降曹成，派了先遣兵到郴州（今湖南郴县）、桂阳（今湖南桂阳），侦察曹成军有无听诏受降的动向，以决定进止。以后，岳飞又数次谕意，但曹成不听。岳飞从抗金利益出发，只好用武力征服了。
闰四月，岳飞率军进入贺州。曹成已在太平场布阵数十里抗拒。一场大战即将展开。这时岳飞的部下捉到了一个敌探，送至中军帐交岳飞审问。正在审问之时，岳飞装作想起了一件事情，赶忙走出帐外。他找来管军粮的军吏，了解军粮情况。军吏回答说：“粮食快吃光了，转运使还没有把粮食调来，怎么办？”岳飞着急地说：“快催，要不然，只得重新返回茶陵了！”讲到这里，岳飞作势发现自己走漏了军情，突然不讲了。以后，只听得他对军吏悄悄讲了几句话，又为刚才失言着急地顿起足来。岳飞重新返入帐内后，继续审问敌探。最后对敌探说：“你既是本地良民，我放你回去。”
中了计的敌探立即将岳飞军缺粮的情报，报告给曹成。曹成知道岳飞的军队缺粮之后十分高兴，下令准备追击岳飞。岳飞见探子回去了，急忙唤过张宪、岳云吩咐道：“尔二人领着五千人马，先去曹成上流近寨处埋伏；察看火箭为号，多张旗帜，令本军即运辎重车辆脚力先起。”二人领命之后迅速离去。然后岳飞又让吴全、韩京、吴锡、张中彦等各领所部人马，趁着夜色前去埋伏，以火箭为号，然后包围敌方。
做好准备之后，岳飞令各营摆出丰盛的饭菜，让士兵们饱餐一顿。半夜里，岳飞军绕着小路悄悄地行军了，于第二天拂晓，突然出现在太平场，立即向游寇猛烈进攻，歼灭了全部守隘之兵，烧毁其营寨。曹成大惊而逃，奔至贺州北二十里处，又聚集三万之众，据守莫邪关。
岳飞派前军统制官张宪攻关。张宪的亲兵郭进骁勇出众，力可举鼎。在攻关中，郭进不顾关口飞矢如雨，挥枪冲杀过去，一枪就把对方旗头杀死，游寇顿时阵营大乱；张宪军乘机杀进关口，攻克了莫邪关。郭进立了第一功。岳飞在阵地上解下金束带赏给郭进，以后又提升郭进为秉义郎。
岳家军入关，游寇丢下了辎重物资、家眷老少，四处逃散。岳家军中有一个名叫韩顺夫的军将，被胜利冲昏了头脑，违反军纪，解鞍脱甲饮酒作乐起来。曹成的猛将杨再兴率部反扑，使韩顺夫的士卒猝不及防，遭受伤亡。韩顺夫本人被杨再兴砍掉手臂，流血而死。
岳飞震怒，责令第五副将王某，必须生擒杨再兴以赎对部下约束不严之罪。
牛皋奉命追击杨再兴。杨再兴力战三将，不仅使官军无法近身，还把岳飞的弟弟岳翻也斩杀了。曹成再次与杨再兴合兵，控扼桂岭入口的“三隘”——北藏岭、上梧关、蓬岭。三关形势险要，曹成自以为得了地利，后来者无法争夺。岳飞率军到岭下，亲自带兵出战。他打破常规，不列阵势，一鼓而上，杀声震天，锐不可当。曹成的都统领王渊招架不住，大败溃逃，曹成全军大乱，北藏岭、上梧关遂被岳飞一举而得。曹成却不罢休，反复争夺北藏岭，死了很多士卒，仍不能夺回，逼得曹成作最后的决战。他从桂岭至北藏岭，布营立寨，绵延六十余里。曹成亲自坐镇第三关——蓬岭。这时曹成的兵力仍有数万，而岳飞仅有兵员八千。
岳飞调兵遣将，在蓬岭下布好阵势。十五日，也就是追击曹成的第十一天，岳家军发起了总攻，数路兵马同时登关。曹成军吓得如鸟兽散，四面逃窜。岳飞马上召集张宪、王贵、徐庆等部将，下达命令：曹成败走，余党尽散，追而杀之，则良民胁从，深可悯痛。吾今遣若等三路招降，若复抵拒，诛其酋，抚其众，谨毋妄杀！
岳飞能把顽固的游寇首领与一般胁从者区别开来，不滥杀戮，这在当时的南宋将领中是不多见的。曹成往广东的连州方向逃去，张宪尾追不放。曹成穷蹙，又从连州转入湖南郴州。而王贵一路追兵又自桂阳追至郴州。曹成转身又奔向邵州（今湖南邵阳）。不料，又逃不出岳飞的神算，徐庆率部自道州追至邵州。
此时，三路追兵沿途招降了曹成部卒二万人。岳飞选用其将领，分粮给降卒，吸收自愿留下的精壮，壮大了队伍。曹成更加恐惧，急忙往江西方向逃窜。在江西，碰上了从福建回师的宣抚副使韩世忠部队，曹成走投无路，于是率部向韩世忠投降了（《皇宋中兴两朝圣政》卷十一）。独有郝最、杨再兴一度拒降，率众西走沅州（今湖南芷江）。后来，这部游寇也为张宪所破。杨再兴飞马纵入深涧，当官军张弓搭箭，向深涧里的杨再兴瞄准时，这个时候杨再兴大声说：“我是好汉！我要见岳飞！”说完这句话，杨再兴从山涧上来，甘愿受缚，由张宪带着去见岳飞。
岳飞终于擒获了有杀弟之仇的杨再兴。但岳飞是一位以抗金为重、十分爱惜人才的将军，他不计个人恩怨，见了杨再兴，二话不说，先为他松绑；然后，诚恳地对杨再兴说：“我和你本是同级，你是壮士，我不杀你，你应该以忠义保卫国家！”杨再兴既敬重岳飞的报国忠心，又钦佩岳飞的武艺，于是跪在地上道：“小将情愿归降。”岳飞立马搀起杨再兴，道：“将军如实不嫌弃，我们结为兄弟，共同保卫国家如何？”杨再兴慨然允诺，结拜之后，杨再兴再次上山集结了粮草和人马，放火烧了山寨，归顺了岳飞。岳飞见众将士归降自己，立即设宴摆酒，全营将士一起庆贺，席间众人发誓，一定要齐心协力，共同扫灭金兵。自此之后杨再兴成为岳飞帐下的一名勇将，并跟随岳飞，英勇作战，立下了很多功劳。
招降曹成、收服杨再兴之后，岳飞立即派人奏报高宗，高宗十分高兴，立即诏升岳飞为中卫大夫、武安军承宣使，依前神武副军都统，并嘉奖了其他的将士，之后命岳飞屯戍九江，守卫长江中游。