曹成果然中计，懈怠了防范。岳飞秘密派人探明了附近的通路，四月四日夜里，岳家军翻山越岭，绕到了太平场营寨的后面，在拂晓时分发动了奇袭，一下把贼兵打得溃不成军。
曹成只能弃了营寨，率部后退，在离贺州二十里处的一处山间稳住了阵脚，重又集结起三万兵力，企图凭借有利地形与岳飞决一死战。
四月六日，岳飞以八千人出战，其中骑兵不及曹成军的十分之一，却再次将曹成一举击溃，一直追杀到贺州城东的江岸。
连番惨败之后，曹成元气大伤，只得率残部向桂岭（今广西贺州市八步区桂岭镇）方向逃窜。
从贺州到桂岭，一路上都是崇山峻岭，道路狭窄崎岖，很多地方人马不能并行。其地又有北藏岭、上梧关、蓬岭，合称“三隘”，都是地势险要，易守难攻之处。曹成命部下王渊把守“三隘”，自认为万无一失。
曹成未曾料到，不到五六天的时间，岳家军居然又追到了北藏岭下。为了不给曹成喘息之机，岳飞决定立即发起进攻。为此，岳飞做了周密的准备，还特地向广西经略司借了三百匹战马。
四月十二日，岳家军还在做进攻的准备时，山上的王渊早已经按捺不住，居然带兵从山下杀了下来，岳飞带兵立即迎战。
岳家军不顾山高路险，迅猛冲击。此战相当惨烈，仅岳飞借来的三百匹战马就有一百八十匹在此战中坠崖。在岳家军的凌厉攻势之下，王渊终于支撑不住，败了下去。岳家军一鼓作气，乘胜攻关，一日之内，连克北藏岭、上梧关，杀散了守兵，夺占了关口。
十三日，曹成又派一万五千余人发动反扑，也被岳家军杀散。至此，曹成贼兵已经被打得失魂丧胆，抵抗意志已被彻底摧毁。
十五日，岳家军进兵蓬岭。在下午未时向曹成军发起总攻，一鼓作气，冲上山巅，敌军四散逃窜。曹成滚到岭下，抢了一匹快马，便落荒而逃了。
十六日，岳家军又攻破了曹成桂岭县的大寨，贼兵们被杀得四散奔逃。
在混乱中，杨再兴与曹成的大部队失散，只得率所部向西退逃。张宪率部穷追不舍，一直把杨再兴追得走投无路，跳入一山涧之中，试图躲过这一劫。但是，他还是被岳家军的将士们发现了，他们在上面弯弓搭箭，准备射死他。
“不要射！”杨再兴在涧中大喊：“我是好汉，你们把我带去见岳太尉。”杨再兴从山涧中爬了上来，让士兵将他绑了。
当杨再兴被带到岳飞面前时，岳飞一眼就看出此人定是一员虎将。杨再兴心里坎坷不安，生怕岳飞杀了他祭旗。出乎众人意料的是，岳飞亲自上前解开了杨再兴身上的绑绳：“我与你是同乡，你是壮士，我不杀你，你要以忠义报效国家！”
杨再兴立即拜谢岳飞的不杀之恩。从此，他成为了岳飞麾下的一员将领，对岳飞忠义耿耿，他将以实际行动报答岳飞的宽宏之量。
曹成丢了桂岭县的大寨之后，已经如丧家之犬，带着残兵败将，向连州方向逃去。此时此刻，曹成已经完全没有还手之力了。
岳飞招来张宪、王贵、徐庆三员最信任的部将，对他们道：“曹成败走，余党四散，如果我们追而杀之，则那些胁从的良民就死得太无辜了；但如果就这样放了他们不管，恐怕我们班师之后，他们又会聚集为盗。现在你们分三路前去招降，如果还有人敢抗拒，就诛杀其首领，安抚其众，切记不要滥杀。”
于是，张宪领兵往贺州、连州方向，徐庆往邵州、道州方向，王贵往郴州、桂阳方向分别对曹成的余部进行招降。
岳飞不计杀弟之仇而免了杨再兴一死，此举对招降起到了不可低估的作用。张宪、王贵、徐庆前后共招降了二万余人，岳飞将其中勇武的首领大胆任用为将领，又供给投降的贼兵粮食，降兵们自然是大喜过望，纷纷表示愿为岳飞效力，掉转刀戈去打曹成。岳飞将降众进行了整编，选择了一万余精壮之卒编入本军，至此，岳家军的兵力陡增了一倍，达二万三千余人。
绍兴二年五月，韩世忠的大军一路向荆湖东路开进。前有大军阻截，后有追兵掩杀，曹成实在是走投无路了。韩世忠一纸文书发了过去，曹成立即宣布愿意接受招安。
两大名将联手，对付一群乌合之众，实在是太过简单，接下来的荆湖平盗变得异乎寻常的顺利。
绍兴二年六月一日，李宏袭杀了马友，率部进驻潭州。韩世忠派前军统制官解元、后军统制官程振率军进逼潭州时，李宏已不敢动兵抗拒，解元、程振率兵顺利入城。当晚，李宏的中军乘夜逃遁。第二天，解元召李宏“议事”，收缴了他军中的兵械。随后，李宏向韩世忠投降，成为了韩世忠宣抚司的一名统制官。
六月，朝廷收到了岳飞的捷报，赵构下诏擢升中卫大夫（从五品，宋武阶官第九阶）、武安军承宣使（正任官，正四品），并命其班师。
七月七日，岳飞路过永州祁阳县（今湖南祁阳）大营驿，他在这里写下了一篇题记：
“权湖南帅岳飞奉旨讨伐贼寇曹成，在桂岭一举荡平其巢穴，现在两广、湖湘都已转危为安。痛念二圣北迁沙漠，数年以来，战乱纷起，天下未有一日安宁。愿能赖社稷威灵，愿君圣相贤，则岳飞必将竭尽忠孝，有朝一日能扫清胡虏，收复故国，迎回两宫，以宽天子日昼操劳之忧心，此岳飞之志！曹成盗贼不过是乌合之众，荡平这等蜂蚁之群又岂得算得上什么战功？岳飞经过此地，将此誓言留于壁上。绍兴二年七月初七日。”
让岳飞念念不忘的还是走上抗金战场，与金人决一死战，收复失地，迎回二帝。
此时，李纲才刚刚到达湖南不久。对于岳飞在湖南在所作所为，李纲高度评价，并断言岳飞“异时决为中兴名将”。
在岳飞班师的同时，韩世忠进兵讨伐刘忠，一举将其击破。在白面山盘踞了三年的刘忠不得不渡江北逃，投靠了伪齐。
至此，南宋朝廷终于将荆湖的四大盗贼平定。在平定叛乱的过程中，岳飞居功至伟。