晋武帝死后，外戚杨骏辅政，为了拉拢远人，树立私恩，加封刘渊为建威将军，五部大都督，并封汉光乡侯。晋惠帝期间，八个司马王爷以及众位勋贵各怀鬼胎，你争我斗。刘渊乘机在五部纠结人马，以观时变。晋帝元康末年，由于刘渊所部有人叛逃出塞，他被依法免官。八王乱起，成都王司马颖掌权时，也拉拢这位非常有号召力的匈奴大都督，把他召至邺城，封刘渊为“行宁朔将军、监五部军事”。殊不料，这位宁朔将军不“宁朔”，最后倒是“乱朔”。虽然是空号虚封，但“监五部军事”的官职是刘渊日后成功最大的基础，因为，在魏晋后期，匈奴的什么左贤王、右贤王什么的封号其实完全没有实际意义，已经在岁月的流逝和晋武帝的威权下成为装饰品。
刘渊当时在邺城“作官”，眼见晋朝宗室相伐，天下动荡，心中窃喜，只是身在汉地，不敢有太大动作。
中原大地板荡之时，居于汾水流域的匈奴五部蠢蠢欲动。刘渊的堂叔祖刘宣秘密召集五部上层贵族，对当时的情势发表意见，准备见机起事。“我们匈奴先人（南匈奴）与汉朝约为兄弟，荣辱与共。自汉朝灭亡，魏晋代兴，我们匈奴族人只有虚号，没有实土之封，虽号称王族世家，和普通百姓编户没什么区别，想想真是屈辱呵。现在司马氏骨肉相残，四海鼎沸，正是我们兴邦复业的大好时机。刘元海姿器绝人，为超世人杰，正是兴复大业的最佳人选。”于是，五部贵族上层秘密盟誓，推举刘渊为大单于，并暗派匈奴族人呼延攸到邺城，把五部盟誓的事情通报刘渊。
刘渊听说自己已被五部暗中遥尊为大单于，欣喜过望。但他仍不动声色，假称五部族人有丧事，向成都王司马颖请假，说自己要回部落参加葬礼。司马颖当时没答应。倒不是这位司马颖王爷多聪明，有先见之明，而是当时各王之间争斗激烈，他太想把刘渊留下来当帮手了。
眼见不能成行，又不敢贸然私下逃归，刘渊便让呼延攸自己先回去，让刘宣等人召集五部并诱引宜阳诸部胡人，齐集兵马，打着声援司马颖的旗号，准备伺机兴兵。
晋惠帝永安元年（公元304年），自我膨胀的司马颖在邺城宣布自己为皇太弟，废掉侄子司马章的皇太子位号，这下给东海王司马越以口实，双方开打。荡阴一战，司马颖得胜，把惠帝老兄掌握于自己手中，高兴之余，他又加封一直在身边出谋划策的刘渊为冠军将军。
司马颖没高兴多久，与司马越近宗的晋朝宗室、并州刺史东赢公司马腾和安北将军王浚起兵攻打司马颖，率鲜卑、乌桓等十多万人，直扑而来。
强敌来逼，“貌美而神昏”的二十啷当岁王爷司马颖不知所措。
刘渊乘机进言：“现在二镇跋扈凶猛，有甲士劲卒十多万人来攻，恐怕都京宿卫军士抵御不了这些强寇。请殿下允许我只身返回五部，带匈奴五部之兵杀返，以赴国难！”
司马颖迟疑。“匈奴五部能保证发兵吗？即使五部兵能来，王浚等人率领的鲜卑、乌桓士兵劲速如风云，五部兵能打得过他们吗？…….我想护卫皇帝返归洛阳，避其锋锐，再传檄天下，以逆顺制之，不知君意以为如何？”
面对这位大敌当前只识“驼鸟政策”的成都王，刘渊心中十分瞧他不起。但为了自己能顺利返回自己的五部之地，刘渊仍一脸虔诚庄重，一面给司马颖戴高帽，一面“深忧王事”地出主意：
“殿下您乃武皇帝亲子，对帝室立有殊功，威恩光洽，四海钦慕，谁都想为您效命献身啊！有您的命令，五部会闻命而动。况且，王浚坚子，东赢公是王室疏宗，这两个人怎能与殿下您争锋！殿下您千万别离开邺城，兵马一动，示弱于人，又怎能到得了洛阳呢。即使能到洛阳，威权也不在您手中了。鲜卑、乌桓虽号称悍勇，但比起匈奴五部还差得远。希望殿下您镇抚士众，安静以待，我返回五部后，发二部兵击东赢公司马腾，再发三部兵进攻王浚。如此，这两个鼠辈的首级，不久即可传至邺城！”
司马颖闻言大悦，拜刘渊为北单于、参丞相军事。
简言之，几个司马宗室王爷少不更事，纷纷外借鲜卑、乌桓、匈奴雇佣兵来参加“内战”，这些人狼子野心，谁又能真心为了司马家事效身投命呢。
蛟龙终归大海。刘渊一回到左国城，刘宣等五部贵族马上奉上大单于尊号，建都离石，拥众五万。
“天赐”的帝业——匈奴人的复“汉”大业
司马颖这厢，果然草包。王浚所率鲜卑大军一到，司马颖一败涂地，裹挟着大傻皇帝司马衷南逃洛阳。
已是“大单于”的刘渊此时闻讯，叹骂道：“司马颖不听我言，一战即溃，真是庸昏的奴才！但我和他有约，不可不救。”刚刚摆脱司马氏控制，惯性思维下刘渊起先还真想再扶司马颖一把，想派属下二万余骑进讨鲜卑。
刘宣等人马上阻止他，劝道：“晋朝无道，一直像使唤奴隶一样使唤我们匈奴五部。现在司马氏父子兄弟自相鱼肉，是上天给我们匈奴人光复大业的机会。违天不祥，逆众不济。天与不取，反受其咎，望大单于三思！”
刘渊何其聪明之人，马上借坡而下，他叹言道：“你说得太对了。帝王之业怎有定数呢。大禹出于西戎，（周）文王生于东夷，天授有德之人啊。现在我们有强兵十万，皆可以一当十，鼓行而摧灭晋朝，有拉朽摧枯之势！做好了可成汉高祖的大业，做不好也不失曹魏的霸业。”言至此，老谋深算的刘渊沉吟片刻，半自言自语半对在座五部匈奴豪酋说：“以光复匈奴大业为名，晋朝人是不会响应我们的。汉朝享有天下日久，恩德结于人心，当初昭烈皇帝（刘备）以崎岖一州之地（蜀），也能抗衡天下。依名份讲，我是汉室之甥，当初与汉朝约为兄弟，兄亡弟继，合情合理。”
于是，刘渊称汉王，在晋惠帝永兴元年（公元304年）于左国城登基，建号元熙，依据汉制建百官。这样，刘渊就成为十六国第一个政权的创始者。现在看来可笑的是，刘渊尊蜀汉后主刘禅为孝怀皇帝，立汉高祖以下三祖五宗神主，假模假式地真以汉朝后嗣来立国。“乐不思蜀”且安然而死的刘禅做梦也想不到，在他死后几十年，竟有个匈奴“孙子”打着他的旗号在汾水流域光复“大汉”，阿斗裤裆再不紧，也不会漏出这么一个大略雄才的孙子，这，真是个历史的大幽默！
刘渊立国未久，西晋宗室、东赢公司马腾派将军聂玄征讨，双方于大陵激战。此役，匈奴五部兵大显神威，击败聂玄的晋军。司马腾惊惧之余，忙率并州两万多户仓惶奔走山东。刘渊乘胜，遣其族倒刘曜一举攻克太原、屯留、长子、中都等地。
转年，刘渊打败司马腾派来的司马瑜等晋军，但在版桥一战中，晋朝并州刺史刘琨击败刘渊的前将军刘景，占据晋阳。
刘渊受挫后，有段时间一筹莫展，本想退保，但其汉族臣下王育等人进谏，“……殿下如能命将四出，决机一掷，枭刘琨，定河东，建帝号，克长安而都之，以关中之众席卷洛阳，肯定易如反掌！”
刘渊大喜，说：“这正是我所想做的啊。”于是，他进据河东，攻陷蒲坂，平阳等地，击降上郡四部鲜卑。晋朝内贼王弥（在九曲和刘渊喝酒那位）、氐奠大单于征以及羯族头领石勒都慕其威名，投靠在刘渊旗下。刘渊对这些人一一封官晋爵。
晋怀帝永嘉二年（公元308年），刘渊称帝，改元永凤，迁都平阳。（今山西临汾）。当时，“八王之乱”中的八王已有七个八王命归黄泉，晋惠帝也被东海王司马越毒死，在位的是晋武帝第二十五子、晋惠帝之弟司马炽，即西晋怀帝。
刘渊称帝后，大举攻晋。他命其子刘聪与王弥进攻洛阳，并遣刘曜等人率匈奴军为后援。匈奴联军一路皆捷，接连打败东海王司马越和平昌公司马模派遣的数支晋军。连胜之下，刘聪顿起骄心，不久，汉军被诈降的晋朝弘农太守垣延认袭得手，大败而还。
气恼之下，当年冬天，刘渊又派刘聪、王弥、刘曜、刘景等人率精骑五万进攻洛阳，并派呼延翼率汉族步兵殿后，在河南大败晋军，包围了洛阳城。但好景不长，汉军大将呼延颢和呼延朗接连被杀，匈奴军夺气，刘渊见好就收，忙下令召还诸将，匈奴军还于平阳。
刘渊深信其能卜会算的大臣鲜于修之所言，不再攻晋，静待“辛未之岁得洛阳”的谶言。他于境内大赦，大封诸子、宗室，立其妻单氏为皇后，立儿子刘和为皇太子。
永嘉四年（公元310年），刘渊病死，在位六年，被谥为光文皇帝，其子刘和继统。