面对气势汹汹的诸羌联军，马援擒贼先擒王，对其首恶先零羌发动了一次突袭，先零羌措手不及，数万大军竟败于马援三千步骑之手，然后就是一路溃逃，又被汉军追斩首级数百，其马、牛、羊等牲畜万余头全成了汉军的战利品。其余诸羌部落闻风大惧，哭爹喊娘、面壁裂墙，连忙弃守陇西诸塞，集体向汉军投诚，马援不费一兵一卒又收降叛军八千余。
不久，伐蜀北路军总指挥来歙在河池遇刺身亡，副总指挥盖延又忽生重病，刘秀焦头烂额。就想着把马援调去伐蜀，可就在这时，后院又起火了！逃回金城郡的先零羌余部又纠集数万羌兵人，据守浩亹（浩亹音合门，在今甘肃永登县西南、大通河东岸，其地势水流峡山，岸深若门，奇险无比）要塞，以此为基地，四处抢掠作乱。刘秀只得放弃前议，让马援率军西入金城郡，进剿浩亹关。
羌人早已见识到了马援的厉害，不敢轻敌，竟将家眷与辎重充塞在允吾谷（允吾音铅牙）里阻截汉军，企图负隅顽抗！深入敌境，利在速战，马援才不跟羌人磨耗，于是广发军探，寻得一条秘密小径，大军沿小径从天而降，又一次端了羌军营寨。羌军又是措不及防，又大惊崩坏，又远逃至唐翼谷中据守。马援趁胜追击，至唐翼谷，羌人已重整旗鼓，又在北山聚集精兵，居高临下占有地利，欲做最后之拼死恶战。
马援不喜欢持久战，但更不喜欢恶战。他就是喜欢奇袭，喜欢你，没道理。
当然，奇袭也要有变化，不能次次一样，还得讲究“奇正配合”。马援这一次，先让大军在正面列阵，往山上佯攻，暗地里却派一支数百人的骑兵绕到羌军侧背，待天黑之后冲入羌营，趁夜放起火来，同时击鼓叫噪，虚张声势。羌人一时也不知有多少汉军袭来，又一次大乱惊溃。马援见机立刻发动正面总攻，大军掩杀过去，也不知多少羌人在夜色中稀里糊涂成了刀下之鬼。马援杀得兴起，身先士卒，亲冒矢石，却不幸被一支乱箭射穿小腿，黑夜里也无人知晓，而他就这么强忍剧痛挨了一夜，直到第二天早晨战争结束，大家这才发现马援受了重伤，皆大惊怒，纷纷自告奋勇，请求继续追击羌军余部，为将军报仇血恨。马援却以汉军兵少，不宜深追穷寇，而收其谷粮畜产而还。
经此一战，气焰嚣张的先零羌一蹶不振，其诸羌领导地位也被另一部落“烧当羌”所取代。
另外一边，刘秀听说马援受伤，非常心疼，赶紧下诏慰劳，并赐以牛三百头与羊三千头给马援养病，说你多吃点烤羊腿牛蹄筋好好补补吧。马援却像往常一样，又把这些赏赐分给了辛苦的将士们，一根毛都没留。
此后，金城郡内的数十万羌人，一部分逃回了西海，一部分被迫投降了汉朝，刘秀将这些投降羌人全部内迁至天水、陇西、扶风三郡，以就近掌控。这本是权宜之计，后来却被滥用（据黄烈先生估计东汉朝内迁的羌人总数在70万以上，且多是“暴力拆迁”），结果成为了东汉朝最大的一个政策失误。
西汉宣帝时，汉使义渠安国就因放纵西羌内迁，从而引发大乱，后来还是名将赵充国费好一番功夫，才渐次将其平定。如今东汉又要这么做，显然会进一步引发土地紧张与民族矛盾。当然，这个失误在军力强盛、且地广人稀的东汉初年并未显现出来，但再过百十年人口蕃息，问题可就严重了，其直接结果，与其说使羌人中国化，不如说是使边境中国人蛮夷化；加之继任马援的边郡官员大多素质低下、不擅羁縻，甚而贪婪凶残（比如东汉后期名臣皇甫规一次就清查处理出凉州贪官百余人），欺压羌人百姓，终于使得凉州、关中诸郡数百万“汉化羌人”与“羌化汉人”与政府间离心力越拉越大，直接导致了东汉帝国的崩溃。
小生读史常在纠结——中国自东汉起开始引狼入室，并与狼共舞，也不知这是一种锻炼，还是一种自虐，或是一种无奈……
不管怎么说，东汉朝廷准备一错再错了，有些官员甚至认为：所谓湟中地区（金城郡破羌县以西，今甘肃乐都、西宁一带），道路遥远又多变乱，实在没什么战略经济价值，且行政费用太大，不如内迁其汉民而弃予羌胡。
这下马援可坐不住了：所谓寸土寸金，何况是湟中这么大一块沃野，岂能轻易放弃？这不等于主动缩减防御纵深，自找挨打，犯贱么？你们对得起当年赵充国老将军嘛！（东汉后期还有人提出放弃整个凉州的，真是脑袋秀逗了。）
于是马援立刻上书朝廷：“破羌以西城多完牢，易可依固；其田土肥壤，灌溉流通。如令羌在湟中，则为害不休，不可弃也。”
刘秀一听言之有理，赶紧收回成命，下令武威太守（武威郡即今甘肃武威，在金城郡北）高山侯梁统，将内迁至此的三千湟中汉民再遣返回去。为了进一步加快西部大开发，马援又奏请朝廷，在金城郡各县设置长吏，修缮城郭，兴办集市，开导水田，劝以耕牧，郡中百姓从此安居乐业。肥沃的湟中谷地，又恢复了当年的兴盛景象。
天幸有马援！金城至今固若金汤，为我青海首府，控扼疆藏。
接着，马援又积极展开外交，说服塞外西羌部落首领前来与汉人通婚。对于武都郡内背叛公孙述前来投诚的氐族人，马援也上奏朝廷恢复其王侯君长之位，并赐以印绶。刘秀对马援言听计从，一律照办，并将镇守武都郡的马成大军也调回了洛阳。
刘秀决定赌一把，把整个西北局势交给马援，以腾出人手到经济建设方面去，东汉初始，哪里都缺人啊！比如说马成吧，大司空李通因病辞职，他就得赶紧调回洛阳弥补空缺，主管各方营造之事。
刘秀赌着了！在马援的坐镇之下，凉州又太平无事了一年。直到建武十二年十一月、公孙述被灭、天下初定之时，陇蜀交界处的武都郡突然出事儿了。