司马腾领教了刘渊的厉害，不敢再与之交战，便带着他的部队，逃往东方去与他的兄长司马越会合。一路过去，晋军军纪松弛，侵害良民无数，百姓们因此恼恨司马腾，听说“汉朝的后裔”来了，都去刘渊那儿报道。刘渊趁势出兵南下，连续攻克太原、泫氏、屯留、长子、中都等地。到了第二年，司马腾借助其兄长之力，再度发兵前来讨伐刘渊，结果汉军四战四胜，又接连拿下蒲阪、平阳二地，进据河东。

到了这时，刘渊已清楚看出了中原王朝统治者的腐朽与软弱，加上他的老领导司马颖不听其坚守邺城的劝告，在逃到洛阳后，不久便和其他几位司马氏藩王一样，也因为内部斗争被杀，更使得他连“不能失信于人”这唯有的一条道德束缚也没有了。于是刘渊勒令各部将领，加强对中原的攻势，只待打破洛阳、长安，便能去王号，登帝位，从而建立起华夏历史上第一个由胡人统治的强大王朝（大禹、周文王都是胡人的说法，这只是刘渊的个人见解。其实据史料记载，大禹可是黄帝轩辕氏的第六代玄孙，根正苗红；至于周文王，他和其子周武王所建立的周王朝，更是“华夏”一词的创造者和最初指代。）

但也是由此开始，汉军的形势突然急转直下，从每战必胜，变成了时而胜，时而败。细论其缘由，这些由匈奴人为主力组建的军队战力并没有减弱，其军中将领、谋士更非泛泛之辈，比如说刘渊有一位义子名叫刘曜，此人在刘渊的悉心教导下，非但继承了其义父的优点，文武全才；更兼天生神力，能够一箭射穿寸余厚的铁板。又有匈奴后部人陈元达，当初刘渊计划起兵之时，听说此人有贤名，便多次派人征召他，陈元达不肯应召；及至刘渊连战连捷，实力已具有一定规模，又派人去请陈元达，陈元达这次才肯应召。刘渊考验过陈元达学识，见他果然名不虚传，好奇地问他：“之前你如果应召前来，至少能作个九卿。如今才来，则最多只能作个郎官了，难道你一点也不后悔？”陈元达笑道：“在下深知自己的特长，只是出谋划策，敢谏忠言，这是我的分内事；如果来早了，即便能够官居高位，却不能发挥在下的特长，那才是真正可惜呢。”陈元达之贤，从此事可见一斑。

刘曜、陈元达一武一文，号称是刘渊的左膀右臂。其他如刘景、刘钦等匈奴将领，也在刘渊的影响下，个个精通骑射，饱读兵书。汉军的问题，不是出在这些人的能力上，而在于这些人虽然自称是“汉军”，但他们骨子里毕竟流的是匈奴人的血液，还是习惯性的把汉人当作世仇。军事上的连战连捷，让这一弊端日益暴露出来，比如说汉军大将刘景有一次打了胜仗，一时骄奢心起，竟派人去绑了数万百姓回来，统统扔入了黄河。

这样的事件一旦接连发生，刘渊这支“汉军”势力的正义性、合法性立刻遭到中原士人的质疑。司马氏的诸侯们虽然不济，但公然把无辜百姓扔入黄河这种暴行，他们是绝不会，也不敢做的。事后，刘渊虽然重重责罚了刘景这样的人，还贬了他们的官，但已无法阻止中原地区有识之士的逐渐觉醒。

有一人，名叫刘琨，和蜀汉开国皇帝刘备一样，他也是西汉中山靖王刘胜之后（刘胜生前好色，一生育有儿子一百多人，所以出现那么多他的后人，并不奇怪）。“八王之乱”年间，立志报效国家、成就一番事业的他，见司马氏诸侯们只顾内斗，不顾外敌，预感到天下又要陷入大乱，便和好友祖逖二人一道学文习武，一刻不敢懈怠。一日夜间，二人读书倦了方才睡下，祖逖隐约听见鸡叫，忙将刘琨摇醒，问他：“听见鸡叫了吗？”刘琨迷迷糊糊地问：“那又说明什么？”祖逖一跃而起道：“这是老天见我二人偷懒，特意用鸡叫来警示我俩啊！”

于是二人不顾睡意正浓，又起身舞剑，成语“闻鸡起舞”说的便是这个典故。待到刘渊称王，引兵南下之时，司马越、司马腾连战连败，见汉军兵锋锐利，不可阻挡，这才想起了奋发有为的刘琨。于是，年仅三十余岁的刘琨被拜作并州刺史，领兵一千前往守卫晋阳。

当时，汉军已横扫北方，拿下了并州的大片土地，当地百姓或降了刘渊，或随着司马腾南逃，已是所剩无几。那位品德卑劣的汉军大将刘景听闻刘琨只有士兵一千人的消息后，立即兴冲冲地带着万余部队前来截击，两军战于版桥（地名，位于并州境内）。

好一个刘琨，这么多年的努力果真没有白费，只有一千人的他，硬是把之前从无败绩的汉军打得流花流水。在击败刘景以后，刘琨趁势入驻晋阳，并安抚四周流民，着手加强军备。数月之后，数万汉军卷土重来，将晋阳包围，但因刘琨应对得当，晋阳城中军民同心，汉军再次作战失利，无功而返。

就这样，因为刘琨的出现，刘渊急于南下中原，建立胡人王朝的计划被打乱。再对比下双方实力，汉军这边是兵强马壮，战将千员；刘琨那边只有孤城一座，晋军数千人，刘渊连败之余，难免感叹一声“中原英雄何其多耶”，渐生沮丧之情。就在这时，有部下带着两人前来面见刘渊，启禀他道：“汉王，有三位将军仰慕您威名，特率数千军队前来投奔。”

刘渊看了看那两人，稍稍一愣：“三位将军，那还有一位呢，现在何处？”