江西境内的游寇肃清了，关陕地区的抗金战线也相对稳定，因此赵构把朝廷搬回了杭州，并在此定都。这个地方真是非常之好，金军打来了，他们马上可以远遁海上，让那些金人找也找不到，如果他们不打来，大家又可以坐拥杭州的富饶和繁华，实在是棒极了。只不过在这一地区，号令的传送有些不便，有数股游寇占据着要塞地区，于是朝廷便商议，先着力解决这些游寇。
这次要解决的游寇共有四股，以曹成为首的游寇占据了道州，以马友为首的游寇占据了潭州，以李宏为首的游寇占据了岳州，以刘忠为首的游寇流窜于潭州和岳州之间。这些游寇非常喜欢打仗，平日里官军不来打他们的时候，他们自己也要和自己打上几仗，彼此之间的火并常常发生，譬如曹成就和马友杀过一回。但是，官军如带兵过来剿杀，他们就会互为掎角，共同应对。
朝廷这次决定去消灭曹成的武装，他的力量是最大的，手下兵众多达十万。在福州被废弃已久的李纲此时又被重新起用了，朝廷任命他去做荆湖、广南路宣抚使、兼知潭州，与此同时，把韩世忠部下任士安拨归李纲统领，一同前去。在李纲上任之前，则由岳飞代理湖南安抚使和潭州知州的职务。朝廷命令他率马友和李宏的部队去征讨曹成，岳飞接到这一命令，并领兵出发了。
岳飞当时带去的兵将只有一万人，能够打仗的大约七千人，和曹成之间实力差距太大。马友和李宏虽然接受了朝廷的招安，实则反复无常，朝廷把他们拨归岳飞节制，不过是一厢情愿而已，后来岳飞出兵的时候，他们也根本没发兵相助。事实上，朝廷更担心的是，让岳飞去潭州任职，只会引起马友等人的不满，使之与曹成联合起来，共抗官军，这样岳飞腹背受敌，就危险了。
现在最好的办法，不如假装不去打曹成，让岳飞领兵到袁州去，与马友和李宏商议，欺骗他们说，他这是要打李忠，麻痹他们。然后再派大将韩世忠率兵前去，与岳飞联合，使军力强盛之后，再打曹成。赵构等人觉得这个办法的确有道理，于是下令给岳飞，让他斟酌形势，如果不能打就驻扎到袁州，等韩世忠的部队前来与他会合。不过，岳飞那时早已过了袁州，到达茶陵地区了。
绍兴二年二月的一天，岳飞正式发兵攻打曹成。之前打李成的时候，李成想的是如何抵抗岳飞；后来打张用了，张用则想要不要投降岳飞；这次打曹成，曹成想的却是怎么逃跑比较好。得知岳飞已行军到离自己几百里以外的地方了，曹成对部下大叫说：“岳家军来矣！”然后马上率部逃跑。其实岳飞没想着打他，希望能招降他。不过投降他也是不干的，于是岳飞就只好揍他了。
岳飞行军进入贺州的时候，曹成知道自己跑不掉了，于是列阵抵抗。有一天岳飞的部下捉到了一个奸细，送去岳飞帐中审问。在审问期间，岳飞走出营帐，问掌管军粮的军吏说，他们的粮食还有多少。那军吏回答他，已经不多了，转运使也没把粮食运来。岳飞催道，快去调运粮食，否则的话，他们只能返回茶陵就粮了。接着岳飞重新进帐审问，判定那奸细是良民，把他放了。
这一切其实都是岳飞在演戏，他的演技真是非常之好，把那奸细骗得团团转，以为自己非常聪明，虎口脱险，还得到了这么具有价值的消息，完全没想到自己已经被骗了，并且，他回去之后把这个消息告诉了曹成，害得曹成一起被骗。他还真以为岳飞没有粮食了，就决定主动出击，率军攻打岳飞。
就在当天夜晚，岳飞绕着小路悄悄地进发了，抵达了曹成列阵的太平场营地。曹成一直以为岳飞没有粮食，要跑回茶陵了，正想着到时候怎么追击岳飞呢，完全没想到他会这样冷不丁地杀出来。曹成惊慌失措，部队也立即被打散了。曹成率领残众奔逃至贺州北面约二十里的地方，把士兵集结起来，据守莫邪关。这时候曹成依旧有三万之众，和岳飞比起来，力量还是胜于他的。
岳飞并不惧此，派出了前军统制官张宪去攻关，这张宪就是当初对岳飞有知遇之恩的张所的儿子。张宪麾下有一个叫郭进的亲兵，十分勇猛，力可举鼎。这并不是夸张的形容，其实力可举鼎，完全是真的能够做到的，现如今我们国家还有这样的大力士，甚至能够一连举起两个鼎呢。还曾有一位大力士，推动了一辆重达25吨的卡车。由此可见，郭进力可举鼎，的确是合乎科学的。
在这次战役中，郭进表现得非常勇敢，在满天的箭雨里冲杀，意兴湍飞，豪气干云，杀入敌阵之后，他挥枪把敌军的旗头给刺死了。部队都是以旗头而动的，旗头一死，大家就失去了统一的指挥，曹成的部队顿时乱了起来。张宪趁机领着大军冲杀进了关口，一举抢占了莫邪关。岳飞到了之后，对郭进赞赏有加，在战场上就解下了金束带赐予他，不久后还把他封为了秉义郎。
岳飞手下有一名叫韩顺夫的将官，他是一个好色贪杯的人，进入莫邪关之后，他被眼前的胜利冲昏了头脑，居然卸下盔甲，要与人纵情享乐一番。结果曹成的部下杨再兴趁机发难，把韩顺夫的军营杀得人仰马翻，韩顺夫本人也被杨再兴砍断了一条手臂，流血而死。岳飞得知这件事之后，简直怒不可遏，誓要生擒杨再兴。他当即派出了三员大将，分三路追杀杨再兴。
杨再兴的功夫真是厉害极了，那三员大将追上他之后，与他厮杀一番，居然依旧没有捉住他，反而在这次战役之中，岳飞的弟弟岳翔也被他杀掉了。很快曹成又过来与杨再兴合兵一处，占据了桂岭的三个关隘——北藏岭、上梧关、蓬岭。这三个关隘地势险要，易守难攻，曹成据守此处，觉得可以放心了，以为岳飞无法抢关。万万没想到，没过多久这些地方就尽数被岳飞抢去了。
这次岳飞是亲自出马，带兵前去攻杀的。他的将士们势如破竹，没使什么诡计，也没有列什么阵法，大家以岳飞为首，铺天盖地地杀了过去。曹成的部下看到岳家军以这种气势杀过来，吓得纷纷后退，完全招架不住，北藏岭和上梧关就这样到了岳飞的手里。曹成非常不甘心，想要把北藏岭抢回来，但岳飞手里的东西是这么好抢的么，任他多少次带兵前去，也仍然没有抢到手。
现在曹成的手里还有一个蓬岭，岳飞的部队已经瞄准了它。曹成抢岳飞手里的关，那是丝毫抢不去的，岳飞抢曹成手里的关，那简直就是易如反掌。他分数路兵马朝关隘发动总攻的时候，曹成的部下马上溃散了，只能四处奔逃而去。岳飞叮嘱部将说：“曹成败走，余党尽散，追而杀之，则良民胁从，深可悯痛，吾今遣若等三路招降，若复抵拒，诛其酋，抚其众，谨勿妄杀！”
岳飞本着仁慈宽容的心，对那些胁从的游寇心存体谅，采取了宽大的政策。他的部下得令之后，便率军前去追赶了。当时曹成与杨再兴分两路逃跑，杨再兴的部队先被追上，他拒捕抵抗，杀了一阵子，发现杀不过，就只好投降了，被绑住带去岳飞帐下。杨再兴杀了岳飞的弟弟，与岳飞有不共戴天之仇，但是杨再兴武艺高强，是一员猛将，留下他能为国效力，岳飞不忍杀他，于是上前亲自为他松绑。杨再兴从此归顺了岳飞，成了他麾下骁勇的战将。
至于曹成呢，他败走之后，就四处逃窜，先是逃到了连州，被岳飞的部下张宪追赶上了，于是再往郴州跑，想把郴州打下来，发现打不过那里的知州，就转而跑到了邵州。正好这时候韩世忠的部队就在附近，他了解到了曹成被岳飞打得落花流水，流窜到了邵州，龟缩不出的时候，就派人前去招降他。曹成是真不愿意归顺朝廷，但当时他已走投无路了，因此只能投归韩世忠麾下。
在岳飞奉命平定曹成的同时，韩世忠也马不停蹄地解决着流窜各地的游寇。曹成被打败的时候，韩世忠刚刚平定了福建境内以范汝为首的一支游寇。接着，他便率军忽然出现在了洪州赣江之滨，吓得江西至湖南境内的几支游寇均感手足无措：“群贼不虞其至，大惊，以为神。”后来，李宏与马友窝里反，李宏进驻潭州，杀了马友，韩世忠便率军去攻打李宏，将之平定了。
在绍兴二年的七月份，韩世忠又出兵到岳州，收拾以刘忠为首的游寇。当时刘忠已在这里盘踞了三年之久，可谓根深蒂固。韩世忠亲自率军与之交战，与此同时，他派人悄悄行进，埋伏起来，等到他与刘忠大战的时候，那路埋伏着的军马忽然杀进了刘忠军中的望楼，拔了他们的旗帜，插上了官军的旗帜。那些游寇一见以为自己的军营失守了，纷纷溃散，向淮西逃去了。
到了这时，湖南境内的游寇基本被肃清了。岳飞消灭了其中势力最大的曹成，功劳很大，但是对于他而言，这些都是不足挂齿的，他的内心孜孜追求的，仍然是抗击金人，收复失地。他打曹成，所看到的也不仅仅是安定内部地区，而是通过安定内部地区，显示出自己的军事实力，以攘外和服外。
岳飞得胜之后班师回朝，路过永州祁阳县时，写了一篇《题记》，将这样的生平抱负展露无遗：“权湖南帅岳飞，被旨讨贼曹成，自桂岭平荡巢穴，二广、湖南悉皆安妥。痛念二圣远狩沙漠，天下靡宁，誓竭忠孝。赖社稷威灵，君相贤圣，他日扫清胡虏，复归故国，迎两宫还朝，宽天子宵旰之忧，此所志也。顾蜂蚁之群，岂足为功。过此，因留于壁。绍兴二年七月初七。”
在征讨曹成期间，岳飞在茶陵收编了枢密院将领韩京的一支军队，到郴州时，他又把驻扎在那里的湖南帅司统制官吴锡的一支军队收编了。打完曹成时，岳飞的军队已经达到了两万三千人，是当时南宋实力最强的军队之一。绍兴二年六月份，朝廷升了岳飞的官，军职仍是神武副军都统制，虚衔则升为中卫大夫、武安军承宣使，并下旨命他前往江州驻守。时任蕲、黄镇抚使的孔彦州在这时率兵投靠了伪齐，朝廷再次下旨，催岳飞火速赶往江州，防伪齐南犯。