匈奴是北方游牧民族，乌桓也是北方游牧民族。前者的首领，名作“大单于”；后者的首领，名作“大人”（乌桓和匈奴的建制基本相同，由多个拥有实权的部落首领共同组成；但与匈奴不同的是，此时的乌桓族内部尚未能形成一个类似大单于一样——独一无二的，拥有强大中央集权的统治者，因此会有多位“大人”同时并存的现象，互相之间为联盟关系）。大人们赶走了大单于，却发现千辛万苦抢来的漠南草原已被旱灾、蝗灾折腾得不成样子，自然不肯善罢甘休。他们秣兵历马，准备对汉国北部，再发动一次大规模攻势。
正当他们准备得差不多时，奇异的事件发生了：驻守上谷、代郡、渔阳等地汉军，在马援的率领下，突然向内地大举撤退；就连之前刚修建起来的城郭、要塞，也随之一并放弃。大人们见了这古怪的一幕，面面相觑，反倒不敢轻易动手。正狐疑时，中原又有汉使者过来，满载金银、丝绸等物，数以万计，向各位大人献上，并主动邀请他们率部南下，入塞内驻扎。
竟然有这等好事？大人们见仗还没打，土地、钱财都已得了，便将擦亮的马刀都收了起来，与汉国互遣使者往来。在确认光武帝并非开玩笑后，乌桓各部因贪图塞内富庶，各部大人陆续率众南下，迁居于东起辽东，西至朔方这一段狭长的区域之内，与汉人杂居。乌桓迁居完后，在他们西北，另有率众南迁的呼韩邪二世单于，定居于朔方、五原、云中等地——是匈奴人；在他们东北，也有一支胡人紧随着南迁，定居于辽东、辽西以北，乌桓原先的领地之上——是鲜卑人。
三部胡人相继南迁后，看似汉国的边防压力乍然加大，其实不然。因为光武帝在诱使胡人南迁的同时，早就根据他们的实力，为他们设置了“假想敌”。这其中，乌桓实力暂时最强，因此为之划分的驻地也是最大，共计渔阳、右北平、辽西、辽东，上谷、代郡、雁门、西河、云中、朔方（和南匈奴共居），十个郡，将北匈奴南侵的诸条要道裹得严严实实；鲜卑实力次之，因此将其迁于乌桓的原先驻地上，与尚在塞外，未肯南迁的乌桓人互相纠缠，殊死搏斗；南匈奴实力最弱，又有北匈奴、乌桓的威胁，在他身上，汉国便慷慨赠与，尽力扶持，不时赏赐金钱、丝帛、牲畜等物。
当然，要保证以上“三胡”南迁之后，按预定设想发展——互相角力，共同侍奉汉国，汉国的自身实力是关键，不然局势一旦失控，便成了引狼入室。光武帝在乌桓、南匈奴、鲜卑不断南迁的同时，又在上谷郡内设置“护乌桓都尉”，在云中郡内设置“使匈奴中郎将”，各驻有军队，以监视以上三胡的举动。在胡人驻地以南，冀州、并州各地的守军，也常年保持高度警惕，一有风吹草动，便及时向朝廷汇报。因此在东汉中前期，光武帝这一取自于赵充国用羌人平羌人之乱，马援用越人平越人之乱的“以夷制夷”政策，取得了极好的效果。——历经数世，三胡之间时而缠斗，时而共同御敌（北匈奴），未对东汉形成实际威胁。
“和平主义者”光武帝用他举世无匹的魄力，下成了一盘大棋，实现了不战而屈三部之兵的壮举。但回到朝中的马援，却更执着于马革裹尸的烈士理想，期盼再一次踏上征途。但这时，南越被他平了；匈奴、乌桓也在他与光武帝的合力下平了；西羌更是见其丧胆，不复有反叛之念，哪里还能有仗打呢？就在马援左顾右盼，为天下太平无事在喜悦中夹杂着一丝落寞时，建武二十三年（公元47年）年末，南方有重大消息传来：武陵郡（治今湖南省西南部）有蛮人作乱！
马老将军激动了，立即上奏，请求南征。但光武帝这次却未同意，而是令武威将军刘尚前去。——早在大半年前，马援尚未归时，南郡就有蛮人因当地大旱，无法缴纳赋税而造反，被刘尚轻易平定。今武陵郡就在南郡以南，反叛之事也是因旱灾而起，光武帝自然不会轻易换将。
于是刘尚争得了这个机会，兴冲冲地去了，率军一万，沿沅水（洞庭湖支流，源头出自贵州省云雾山）逆流而上，向西进发，很快便追击蛮众至五溪（沅水五条支流统称）之地……一月之后，战果揭晓，朝野为之震惊：刘尚不幸中伏，所部军士全军覆没！
一万军士阵亡，还搭上一位开国大将，这是自东汉建国以来，少有的重大败绩。但光武帝接到败报后，首先筹谋的却不是用何人重新南征，为刘尚报仇——而是如何杜绝此类惨剧再度重演。据少数幸存者回报：那武陵蛮人首领，名叫相单程，处事果断，精明干练，五溪一带的数万蛮众都肯顺从于他。上一战，刘尚领军到武陵后，本已取得小胜；不料那相单程却带着数万蛮兵，远遁入五溪（约在今湖南省怀化市一带）之间的深山老林之中。刘尚与手下军士乘坐战船追赶过去，搜索了大半月，未发现敌军身影，只得趁着军中粮草未尽，无奈班师。汉军刚撤退时，却又见那相单程带着数万蛮人分作两路急追过来：一一路从身后急追；一路提前抄至汉军身后，径堵住下游。汉军是以进退维谷，终遭前所未有之惨败。
是个善用兵之人哪。光武帝分析过后，觉得这个相单程很不简单，非轻易可定。何况近年内荆南一带蛮人叛乱不息，必有缘由，是朝廷、官府逼迫太甚，出于无奈也说不定，不宜再轻率动用大军。于是他责令有司：详查武陵蛮人叛乱始末，在问题未查清之前，不可再轻言南征武陵之事。
汉军不急着复仇，蛮人也安分了下来，在五溪窝了大半年。但到隔年秋季时，朝廷再度接到急报：相单程悉起蛮兵，达五万之众，已兵临临沅城下。临沅身为武陵郡治，一旦失守，武陵全郡都将落入蛮人手中。光武帝接到奏报后，痛心中带着失望，召过尚书令道：“朕早已下令，恢复文景二帝时期的‘三十税一’政策，未曾改过；今又肯息事宁人，蛮人为何仍要造反？”尚书令已得有司汇报，当下诚惶诚恐回道：“陛下，据臣等详查，那蛮贼作乱，确是因不堪重负而起，但主因却不在朝廷。自王莽篡政以来，中原士人、富户多有南迁者，避祸于武陵、桂阳等地，这才是蛮人叛乱不息的主因。”
蛮人叛乱，汉人南迁是其主因？光武帝首次听闻这一说法，有点反应不过来，忙问为何。尚书令道：“陛下也知：武陵之地，本为蛮人所有，秦朝时有大将司马错伐蜀、伐楚，首开黔中郡，才逐渐并入中原。但凡肯主动迁入此地的汉人，一为避战乱之祸，二为避牢狱之灾，三为躲过度田之事。一旦山高皇帝远，难免用钱买通官府，肆意妄为，朝廷无以得知，也无以禁止。今蛮人为南迁汉人压迫甚重，见上告官府也无用处，故群聚于相单程麾下，攻打州郡，驱逐汉人。非是息事宁人可禁止也。”
光武帝听后，深以为然，决心采取两手措施。第一，妥协既然无效，那就立即选择良将奔赴临沅增援，赶走叛军；第二，叛乱定后，也无需再提为刘尚报仇的事了，只追究相单程和少数蛮兵首领之罪，其余胁从蛮众，一律不咎，并严查南迁汉人中骄横不法者。
怀着这一使命，同月，扬武将军马成率军士五千人，星夜赶往武陵。
马成到时，相单程领着数万蛮兵，早已大大落落的在临沅城中落脚。之前的那位郡守大人，已被他一刀砍了。马成见状，索性不战而回，向朝廷更请援军——他此次只带五千人来，本只是充当援军用的，谁想城池竟已失守，那还不如早走为妙。谁知道，那相单程最擅长的就是挖坑打埋伏，截人后路，等得便是马成这一招“走为上”。马成率军刚走，城内城外的伏兵便一齐现出身来，数万蛮兵对着五千汉军上前就是一顿猛攻，汉军再次溃败。万幸的是，这一次马成对蛮人的实力有所准备，未和刘尚一样稀里糊涂的就成了刀下鬼，及时从败军之中逃了出来。回到洛阳后，他纳下官印，直言蛮兵势大，近乎不可战胜。
不可战胜？未必！光武帝见汉军两次南征，两次战败，终于被彻底激怒。同样被激怒的，还有马老将军。他前两次主动请缨，始终未能入皇帝法眼，这次一见光武帝有大动干戈之念，便又站了出来。光武帝扫视了他一下，怒气便消了，苦笑中带一丝无奈道：“爱卿若是年少十岁，确是上佳人选，只可惜……”
“微臣今年方六十二岁，陛下何以看轻我耶？”
“那，敢请上马一试？”
马援大笑，走向殿外。殿前卫士得光武帝吩咐，早解下盔甲予他，并牵来良马一匹。马援盔甲穿戴整齐，接过马来，一跃而上，绕殿前奔驰数周，无喘息急促之象。后又单手扶住缰绳，一手持住兵刃，向宫门处疾驰百十步，这才猛然勒住马步，转身笑问光武帝道：“陛下，臣比之初入洛阳时，状况如何？”
“虽已是个老将军，风采不减！”光武帝顾虑全无，大喜道。当日，三征武陵的主将就此尘埃落定，由伏波将军马援挂帅，总领马武、耿舒等一干副将，另有宗均充作监军，吕种充作随军司马。朝廷拨其兵马四万，只盼马援能与征战交趾时一样，长驱直入，早奏凯歌。