说来也是巧合，在这次去往兖州的途中，汲桑、石勒等人与司马腾相遇。正是仇人相见分外眼红，很快，司马腾也被义军所杀。消息传到司马越耳中，司马越大惊，忙将讨伐外敌刘渊之事放在一边，先专心解决汲桑、石勒的内患。于是他派出自己帐下的第一名将苟晞，令其前往进击石勒。
苟晞为人，与吕布类似。一方面，他治军严格，威仪卓著，时人比之韩信、白起；另一方面，他野心极大，反复无常，在八王之乱期间先后投靠多王。所以不到万不得已，司马越不敢对苟晞委以重任。苟晞出马后，与石勒在阳平、平原一带相持，期间大小三十余战，互有胜负。苟晞见石勒难以击败，心生一计，转而攻击汲桑的军队，结果那位号称力能举鼎，统帅能力却比石勒低了好几个档次的汲桑随即一溃千里。汲桑战败逃亡后，石勒一下子沦为了孤军，他用兵能力虽强，却暂时没有太大的雄心和抱负。于是他只得与前文所提到的张�0�3督、冯莫突二人一起，率军北上，投靠汉王刘渊。
刘渊这样的人物，当然不会拘泥于石勒的出身低贱而轻视他。在得知是石勒来投奔自己后，刘渊忙亲率众将前往迎接，并当即任命他为辅汉将军、平晋王，手抚其背，与之相约共平天下。石勒明白“平晋王”三字的重大意义，见汉王对自己如此推心置腹，感激涕零之余，献计道：“属下这次北上，得知在并州附近有两千乌桓骑兵驻扎，首领名叫伏利度。若汉王陛下准我便宜用事，石勒有信心将这两千骑兵召来，为您所用。”
刘渊早就有心收揽这些乌桓人，闻言大喜，准许石勒前去。石勒于是假装获罪，率“十八骑”往见伏利度道：“在下前日投奔刘渊，意欲谋取个一官半职。不想此人徒有虚名，也因为我是羯人而有轻视之心，故才弃之，改为投奔您伏利度大人。”伏利度对此深信不疑，之后外出作战、劫掠，都用石勒等十八骑打前阵。石勒每经战阵，必是所向无前，只凭区区十几个人，每次缴获的战利品竟比二千乌桓人缴获的还多。久而久之，二千乌桓人佩服其胆略，都对石勒敬爱有加。石勒见时机成熟，一日，趁着乌桓军中大小将官聚在一起饮酒，他突然将毫无防备的伏利度擒住，然后询问乌桓众人：“若要做一番大事，我和伏利度谁可担任主帅？”乌桓人异口同声，皆高呼石勒之名。石勒于是将伏利度释放，率两千乌桓人回见刘渊。刘渊加拜石勒为都督山东征讨诸军事，并把两千乌桓骑兵全给交给他指挥。
同一时期，另有一位名叫王弥的汉人，长期在青、徐二州活动，拥有军队数万。苟晞击败汲桑之后，因见王弥不服晋国朝廷调遣，还私自委任青、徐二州太守，便率军前往征讨，王弥不敌苟晞，也派人北上向刘渊称臣。刘渊任命王弥为镇东大将军、青徐二州州牧，都督缘海诸军事。就这样，刘渊对于但凡投奔他的人，不问出身，不分族类，一律按照其实力、才能，量才拔擢，所以汉军虽在晋阳受了些小小的挫折，实力反倒是与日俱增。待到公元208年，刘渊得中原细作来报，称那位傻瓜皇帝司马衷已在数月前去世（相传是被司马越毒死），其弟司马炽继位，史称晋怀帝，由“八王”中仅存的最后一王——司马越辅政。刘渊趁此时机，下令汉军兵分东、西两路，再度向晋国发起攻势。其中，西路军统帅乃是刘渊第四子刘聪，总督战将十员，沿太行山南下，直趋洛阳；东路军统帅则是石勒，亦是总督战将十员，负责攻打太行山以东的赵、魏之地。
随着这一场战役爆发，晋、汉之争，或者说汉人与匈奴人之争，已到了殊死较量的阶段。而与势在必得的刘渊相比，中原地区的实际掌权者司马越着实让人失望，这时的他，仍在做着当下一个“皇太弟”的美梦，在朝中残害忠良，排斥异己，并且与新继位的晋怀帝之间又产生了尖锐矛盾。北方名将刘琨采用以夷制夷之策，借得鲜卑骑兵数千人，他致信司马越，自愿南下洛阳相助朝廷抵御外寇，司马越因担心有人与自己夺权，不肯听从，刘琨只得含泪将已在晋阳地区集合的数千鲜卑人解散；至于苟晞、王浚等地方豪强，则纷纷在期间拥兵自重，隔岸观火。所以只经过两年多时间的拉锯战，刘聪领导下的南路军就已突破黄河，将洛阳城包围。此时的洛阳城中，残骸遍地，矢尽粮绝，司马越这才开始着慌，请晋怀帝下诏四方，让各地将领带兵入京勤王，结果不难预料，无一人前来。
公元311年三月，晋军救兵未到，汉军大将石勒、王弥等人却纷纷率军赶来洛阳，与刘聪会师，司马越忧虑成疾，郁郁而终。临终前，这位本该是晋王朝最后希望的人，牵挂的并不是如何才能保住江山社稷，而是如何才能避免自己的遗体被匈奴人羞辱，于是他嘱咐自己的好友，当时在朝中担任太尉的王衍，动用军队将他的棺椁运回东海国安葬。
司马越死后，王衍置洛阳安危于不顾，遵从司马越遗言，征用十万大军载着其棺椁往东海国去。才行至半路，石勒率骑兵二万人追来，将王衍等一行人包围。王衍自恃善于口舌之辩，于是他求见石勒，期间大谈晋朝衰败的原因，以及自己无心从政，只想安享晚年等等，借机劝石勒称帝。石勒冷笑道：“晋国士人，历来被分作九品，据我所知，阁下正是上品人，所以年少之时就名扬四海，如今更是位居三公要职。晋国沦落到眼下的局面，怎么可能与你毫无关系？”说完，他即令人将王衍押下，日后处决；又命令军士远远围定押运司马越棺椁的十万晋军，开弓射之，不得放过一人。一时间，十万晋朝官兵自相践踏，无人幸免，皆死于石勒之手。在全歼此队军旅之后，石勒收兵回见刘聪，汉军攻打洛阳更急。
公元311年六月，汉军对洛阳发起总攻，晋军士气全无，兵败如山倒，一连输了十二阵，很快，洛阳失陷，晋怀帝被俘，这时，距离晋朝建立，才仅仅过去了三十一年。对晋国的臣民来说，最不幸的消息还不是国都沦陷这一事实，而是匈奴汉政权的建立者刘渊已在十个月前去世，其政权最终由刘聪继承。——如果一心仰慕中原文化的汉光文皇帝刘渊（刘渊于公元208年称帝，谥号光文皇帝）还在，以他的品行，对这些亡国之人定然会比较仁慈，如果出现汉军劫掠的现象，定会下令约束。可是，刘聪显然不是这样，在他的纵容下，洛阳城继董卓之后，又一次遭到了大肆洗劫，宫殿被大火焚毁，军民无辜死亡者达三万余人——史称“永嘉之乱”。若刘渊泉下有知，不知对此等结局会作何感想。