这种对峙到建武九年的时候发生了变化，这一年汉军基本消灭了陇右的隗嚣。趁着这个间歇期，以吴汉为首的汉军对卢芳发动了一次主动的攻势，在这场雨战中汉军的步兵显然不是匈奴骑兵的对手。随后，匈奴加强了攻势，到建武十二年的时候，就不仅仅是匈奴在进攻了，居住在上谷、渔阳外部的乌桓也加入了进攻的行列。令人惊奇的是似乎这些人更关心的是劫掠财物，而不是攻城略地。
也就是在这一年，建武十二年刘秀平定了最后一个割据势力盘踞在四川的公孙述，天下基本平定。现在卢芳外面的厚势空前强大，皇帝梦也该醒了。
这一年卢芳出兵攻打云中郡，想要拔掉扎在嗓子眼的鱼刺。这一仗是旷日持久，一直打到第二年初。这么多年了，想必不是第一次，这一次却是最后一次。卢芳与主要大将贾览长期领兵在外，留守九原的随昱就动了心眼。想要趁机胁迫卢芳归汉，也弄个一官半职的。得到消息的卢芳，一看大势已去，茫茫如丧家之犬、惶惶如漏网之鱼，率领十几位亲随逃往塞外。
以经济建设为中心
建武十二年（公元36年）刘秀经过十几年的艰苦战争，终于平定了天下。再回过头来仔细打量自己脚下的这片土地，真是千疮百孔，百业待兴。这不是一句套话，而是对客观现实的准确描述。为了使观众同学们有一个直观的印象，我们需要把千疮百孔量化一下。
最直接的一个指标就是人口。众位都知道王莽改革所要解决的主要问题就是人口与粮食的问题。如果王莽在建武十二年搞改革的话，估计阻力要小很多，让王莽头痛不已的人群已经不见了。西汉最高的人口纪录是六千万，这是汉平帝元始二年（公元2年）左右的统计。到光武帝中元二年（公元57年）的时候，人口只有2100万，而在建武十二年（公元36年）实际的人口数量要少得多，海内人口数只剩十之二三。也就是说在建武十二年的时候，人口数应该在1200万到1800万之间，取个平均值1500万。经过三十年的折腾人口减少了四分之三。我们不禁感叹王莽的改革要是成功了该有多好！
这还仅仅是账面上的数字，在实际生活中，比如征兵、出劳役的时候，还看不到这么多人。那那都缺人，人哪去了？很多人都成了大户人家的奴隶、私佣。宁作太平狗，不做乱世人，乱世之中讨口饭不容易。战争年代很多大户是结垒自保，流民要想生存就只好加入进去，成为大户的私俑。这种现象在乱世的时候很普遍。现在天下太平了，这些大户人家就等于与国家争夺人力资源，国家的税收和徭役都成了问题。这一点刘秀很早就意识到了。从建武二年开始就先后下了几道放奴婢令，让奴隶成为自由人，为国家出力，而不是为大户人家出力。
另一个严重的问题是乱世之中土地随便圈占，每个地主有多少地国家没有数。没有数就没有办法收税，那就要丈量土地，这样刘秀与这些大地主的利益就冲突了。而这些地方豪强正是刘秀能够成功的基础之一。刘秀自己也是地主出身，而且刘秀的很多手下在参加革命以前就是地方豪强。那位拼命劝刘秀称帝的耿纯，整个家族就有两千多口；其他比如寇恂、王霸、刘秀的姐夫邓晨等等，都是一方地主。刘秀的统治基础就是这些人。革命成功之后，这些人或多或少的与刘秀在利益上有了差别。释放奴隶、抑制土地兼并，这些人就成了主要的斗争目标。但是刘秀现在还顾不上土地的问题。
革命成功了，下一步就是怎么处理这些功臣的问题了。从来太平将军定，不让将军见太平。这些人功劳太大，很多人都掌握军权，管理起来有一定难度。鸟尽弓藏是比较通行的做法。关键是怎么藏？是深藏还是浅藏？深藏就是刘邦的做法，一个一个铲除掉，藏到找不到；刘秀采取的是浅藏。不知从什么时候开始，刘秀开始公开研习儒学，下班了不回家，也不让别人回家，非拉着那些儒学高手一起学习不可。 这个工作刘秀下手比较早，建武五年的时候就恢复了太学，打下了伏笔。
按说刘秀早年的时候在长安的确学习过儒学，跟随庐江许子威学习尚书。不过水平一般，是初通大意而已。要说刘秀多喜欢儒学，那肯定是不符合实际的，刘秀更喜欢谶言，当了皇帝还是乐此不彼。为自己成为谶言的应验者而沾沾自喜。本质上刘秀更贴近于农民，而不是儒生。现在大张旗鼓地研究儒学就是一个很明确的信号，皇帝要放下屠刀了，变招子了。打打杀杀已经过时了，要放下屠刀、拿纸笔，脱下征袍、换长衫。
建武十三年刘秀是大封群臣，刀枪入库，马放南山。连打仗的事都不许提。现在的工作重点是经济建设，谁提打仗跟谁急。功臣们也很知趣，知道领导要什么，纷纷交出领兵印信，回去做富家翁；刘秀顺利地改造了自己的干部队伍，以马上安天下，以文吏治天下。君臣是各取所需，这就是刘秀的浅藏。
性格决定命运。刘秀不杀功臣与他的性格有关，本身刘秀就比较随和，不是咋咋呼呼的人，就是生气也不是雷霆之怒。更重要的是刘秀认为没必要，在刘秀手下这些人中，谈兵论道能与刘秀走上几个回合的也就是马援了。对于其他的人，刘秀是导师、是真正的统帅。刘邦得天下靠的是汉初三杰，刘秀靠的是自己的韬略。
树欲静而风不止。在刘秀撸胳膊挽袖子，大干快上，准备深化社会主义现代化建设的时候，建武十四年长安接待了一批西域来的朝贡使节，一个新的麻烦摆在面前。
西域出了个贤
来长安朝拜的是莎车和鄯善的使者，这个时间点拿捏得是非常准。刘秀这边刚刚平定天下就来庆贺，可以说是锦上添花，但是随下的要求就有点让刘秀很为难，莎车王和鄯善王希望新政权能够比照西汉的做法派出西域都护安定西域。
西域对刘秀来说真是太遥远了，这个要求完全出乎刘秀的预料。都护西域不是拿嘴对付，要派人、拿钱、要打仗，而且汉朝在西域的主要对手还是北面的匈奴。刘秀现在自己对匈奴都是礼让三分，能忍就忍，还能为了别人同匈奴打仗吗？要打的话也在北面直接打，何必舍近求远？
莎车和鄯善在这个时候提出西域都护的事也不是没有原因的。显然他们遭到了匈奴更强有力的勒索。看看这两个国家的位置就很说明问题， 都在西域南路。在建武年间亚洲大陆的北方经历了一个非常严重的干旱，是连年不息。连年就不是几年的事，最少得十年左右才叫连年。大的干旱之后必然跟着大的蝗灾，现在匈奴的倒霉日子才刚刚开始。
这从匈奴近几年在汉朝边境的表现也能看出一二来，军事抢劫的行动越加频繁，力度也是越来越大。闹得越凶说明物质生活越贫乏。在西域方向毫无疑问就是加强勒索。首当其冲的就是莎车和鄯善。
汉朝虽然退出了西域，但是给西域留下了巨大的遗产。最重要的物质遗产就是五大屯田基地：乌孙、轮台、车师，这几个都在北路，估计也都遭灾了。剩下的就是南路鄯善的伊循屯田和莎车附近的比胥鞬。平时路远照顾不到，现在是灾年了，再远单于的也得精心照顾。莎车和鄯善的使者也是无事不登三宝殿。
对于莎车和鄯善的请求，刘秀没有表现出一点的国际主义情怀，坚决地谢绝了再次进入西域的邀请。此时的刘秀就好象癌症病人刚刚完成切除手术，还没从手术台上下来，就有人拉他去打架，你说刘秀能干吗？西域虽然很重要，在刘秀的日程表上却没有排在前面,先国内、再匈奴，最后才是西域。
使者们是怏怏不乐地离开了长安，返回西域。放下鄯善的使者不管，单说莎车。莎车王贤，对，现在已经不是莎车王康了。建武九年康去世之后，贤继任成为莎车王。使者带回来的消息并没有使贤感到震惊。贤毕竟是中原文化培养出来的人才，善解人意，理解能力也比较高。在贤看来请西域都护本身就是搂草打兔子，打着更好，打不着拉到。