从刘渊称帝开始算起，到西晋灭亡、司马邺被杀，匈奴王朝从建立到称霸北方，前后不过十年时间。也许是成功来得太过容易，到刘聪执政后期，这位匈奴人皇帝也沾染了那些汉人皇帝的恶习，变得和之前的那些“司马氏八王”一样昏庸，逐渐沉迷于酒色，常年深居内宫不出。这样一来，在汉国内部，便有人开始蠢蠢欲动。
此人名叫靳准，之前并无什么战功，也无什么政治作为，但他有两位女儿，分别名叫靳月光、靳月华，生得美貌非常，皆是倾国倾城之色，刘聪将靳月光立作上皇后，将靳月华立作右皇后，一向宠幸无比。由于爱屋及乌，这两位皇后的父亲靳准也被刘聪任命为车骑大将军，在汉国位高权重。
在杀死司马邺的同年，刘聪也因病去世，谥号汉昭武帝。临终前，他将皇位传给了自己的儿子刘粲，并加拜靳准为司空、录尚书事，让他担任顾命大臣。
刘粲即位后，其所作所为甚至还不如那位“白痴皇帝”司马衷，他不仅像他父亲一样常年不出后宫，只知玩乐，而且对于靳准这位顾命大臣的行为，他也从来不加过问，更谈不上约束了——但凡靳准说哪位大臣有功，可以嘉奖，他便下令嘉奖谁；靳准说哪位大臣有罪，该论罪斩杀，他便下令杀谁。于是这位糊涂皇帝才继承帝位不到一个月的时间，靳准便将效忠于刘粲的其他大臣杀得干干净净，其中甚至包括了好几名亲王，比如说济南王刘骥、上洛王刘景、齐王刘励、昌国公刘凯、吴王刘逞等人，这些人可大多都是刘粲的亲兄弟。在大肆铲除朝中异己的同时，靳准又把自己的亲信全部委以重任，比如说他的族弟靳明，接替了车骑大将军一职，他的侄子靳康，则被拜作卫将军。一时间，汉国都城平阳城内，上至三公九卿，下至禁军将领，全数唯靳准之命是从。
公元318年九月，距离刘聪病死才一个多月，靳准突然发动政变，带领亲兵杀入平阳皇宫，轻松将刘粲擒拿、诛杀。因为担心仍有人会反对自己，同是匈奴人的靳准，拿出了刘聪生前连杀两位西晋皇帝的残忍手段，他下令：凡是身在平阳的刘氏皇族，不管男女老少，全部拉去东市斩首。由于这次屠杀行动的规模太大，甚至连刘聪的遗体都未能幸免，被靳准派人从陵墓中给掘了出来，砍作两段。
杀光了刘渊的后人以后，靳准干脆把刘渊的宗庙也一把火烧了，至此，刘渊、刘聪父子辛苦经营了十年的匈奴汉政权，彻底宣告灭亡。靳准取而代之，自号“汉天王”，重新设立百官，并派人把灭亡西晋之后得来的传国玉玺，以及晋怀帝、晋愍帝两人的尸骨一起送往建康，准备向东晋称臣。
靳准向东晋称臣的举动，看似莫名其妙——当时奉命送玉玺去江南的使者一头雾水，手捧玉玺迟迟不敢出发，最终被靳准一剑给斩了；而东晋国君晋元帝（也就是司马睿）在听说匈奴人要向他称臣，并主动提出归还晋怀帝、晋愍帝两人尸骨的消息时，更是觉得不解，对大臣们分析道：“匈奴人怎么会突然变得这么仁慈？”最后晋元帝决定，不管这事是真是假，还是姑且派人去北方试一试的好，没想到还真的把两位皇帝的尸骨成功迎接回来了。为此，东晋国内一片欢腾，只道匈奴人雄风不再，北伐一事大有希望了。
靳准的奇怪表现，的确是他的畏惧心理在作祟。不过，他畏惧的可不是逃往江南的那些晋国人，而是刘曜、石勒两大汉军名将。这两人，一个控制着关东地区，一个控制着关中地区，实力都远远强于靳准。靳准希望通过杀戮匈奴贵族，向东晋称臣的举动，得到东晋军队的支援，这样一来，他才能在刘曜、石勒的夹击下，实现长江以北的“三国鼎立”。
很显然，他大大高估了司马睿收复北方故土的志向，也低估了刘曜对他的仇恨。刘曜虽然只是刘渊的义子，和刘渊没有直接血缘关系，但在之前的政变行动中，刘曜的母亲、兄弟因为身陷平阳，都被靳准下令杀死。在得知靳准自称“汉天王”的消息不久，刘曜便亲率大军离开长安，向平阳进发，打算替刘聪父子，以及自己的母亲报仇；另一方面，石勒也打出了替先帝复仇的旗号，从襄国向西进兵，响应刘曜的攻势。
不日，两路汉军就兵临平阳郊外，这时东晋方面，除了派人迎回晋怀帝、晋愍帝的尸骨外，一点出兵的迹象都没有。靳准迫于刘曜、石勒的强大，准备献出玉玺，开城投降。可是，在“向谁投降”这个问题上，靳准又犯难了，因这次刘曜、石勒的军队几乎是同时抵达，无论投降谁，都会得罪另外一位。想来想去，靳准还是决定投降石勒，这是基于他和刘曜有杀母之仇的缘故。结果他没想到，石勒一直把刘渊父子的恩情记在心上，对此态度十分明确：“其他人或可饶恕，靳准等人有弑君之罪，非杀不可！”
反倒是刘曜那边的态度还算婉和，他派人到平阳城下喊话：“刘粲在位时，朝纲大乱，若非靳准行使大权，果断将其废黜，朕怎么能够登基称帝？因此，只要靳准愿降，岂止是免他一死，朕还要将国家大事委任于他呢。”
因为刘渊一脉上上下下已被靳准屠杀尽了，所以刘曜作为刘渊的义子，已在众人的推举下登基称帝。靳准的族弟靳明，侄子靳康等人听了这话，都很高兴，劝靳准归降于刘曜。靳准犹豫不决，叹息道：“我杀了刘曜的母亲、兄长，他怎会同意宽恕我？——他心中图谋的，只怕是传国玉玺吧。”靳明、靳康见劝他不动，干脆把靳准杀了，派人向刘曜献上玉玺。
石勒听闻此事，勃然大怒：“有我石勒在此，谁敢饶恕靳氏，就是与我为敌！”说完，他随即发兵五万，猛攻平阳。靳明、靳康多次战败，只得带着城中仅存的一万多士兵出逃，前往刘曜军中——结果和靳准预测的一样，刘曜一来是已经得了传国玉玺，二来是迫于石勒的强硬态度，见靳氏一族主动送上门来，毫不留情的将他们全部处决。
靳氏一族死后，平阳已是空城，石勒遂率军进城，派人收敛刘聪、刘粲的遗体，并着手修复刘渊的宗庙。到了这时，整个北方已是刘曜、石勒二人的天下。石勒听说刘曜已经称帝，派属下王修前往其军中祝贺。刘曜为抚慰石勒，下诏授予他大将军、赵王等职。
局势如果就这样发展下去，本来还不错，刘曜继位当了皇帝，石勒向他称臣并准备撤军，靳准所引发的北方大乱到此结束。结果没想到，在石勒派出的以王修为首的使者团队中，这时冒出来一个喜欢搬弄是非的人物，名叫曹平乐。他因见刘曜当了皇帝，石勒仅是其帐下的一个“小王”，便想就此留在刘曜身边，从而获得更大的晋升机会。他劝刘曜道：“石勒早有心统一北方，之所以派王修前往向您祝贺，那是他想借机打探陛下的虚实，方便他日进兵关中——陛下当以王浚为鉴啊！”
刘曜对石勒本就怀有戒心，又被曹平乐说动，竟派人将王修暗杀在军中。消息传到石勒耳中，石勒大怒，说道：“我为了报答刘渊之恩，忠心侍奉刘氏这么多年，他们的基业，还不是我打下的？如今刘曜他稍有得志，竟然听信谗言，怀疑我的忠诚，加害我的下属——以我的实力，赵王、赵帝，我自封什么不可以，哪里还需要等他来册封？”于是他在回到襄国后，自称大将军、大单于、赵王，传檄天下，从此正式独立——史称“后赵”政权。
另在关中，刘曜也下诏臣民，宣布道：“匈奴一族，本是兴起于北方，光文皇帝之所以设立汉朝宗庙，以刘氏为祖先，那也只是为了争取民望，方便统一北方。如今北方既然已被平定，宜更改国号，以单于为祖先。”群臣奏道：“光文皇帝曾受封于赵地，陛下又曾是中山王（中山属赵国之地），请改国号为赵。”
刘曜便以长安为都，将国号由“汉国”改为“赵国”。由于他的称帝在石勒之前——史称“前赵”政权。
从此，北方同时出现了两个赵国，分别以关中和关东为中心，展开了长期对峙。