得胜之后，刘琨与拓跋猗卢置酒高会，两人结拜为兄弟。由于患难相助，感激之余，刘琨上表朝廷，奏请拓跋猗卢为大单于，以代郡封之为代公。当时代郡属于割据一方、怀有不臣之心的晋朝宁朔将军王浚所统的幽州属内。王浚当然不答应，并派兵偷袭拓跋猗卢，反被猗卢军队击败。由此，刘琨与王浚的矛盾也开始表面化。
正在崛起中的拓跋猗卢很想趁机进入汉地发展势力，便率部落万余家从云中入雁山，向刘琨索求陉北之地。“（刘）琨不能制，且欲倚之为援，乃徙楼烦、马邑、阴馆、繁畤、崞五县（现山西代县以北的地区）民于陉南，以其地与猗卢。”
公元311年年底，刘琨与王浚又因州民问题发生了直接冲突。
王浚，字彭祖，是西晋博陵郡公王沈的儿子。这王沈本来也不是什么好货，当初曹魏少帝曹髦带兵攻打司马昭，临行前召王沈、王业两人，以实情相告。这两个不忠小人扭头就跑，驰告司马昭，使这位曹魏权臣争得了宝贵的时间，最终导致了少帝曹髦的被弑。
王浚袭其父爵，在晋惠帝时出镇许昌。愍怀太子司马遹被贾南风幽禁，王浚希旨，与太监孙虑谋杀了这位太子爷，并获迁为宁北将军，不久又徙封宁朔将军、都督幽州诸军事。
眼见当时朝廷昏乱，盗贼蜂起，王浚知天下大乱，深为自安之计，结好周边的少数民族首领。他把一个女儿嫁给鲜卑酋长务勿尘，另一女嫁与胡人酋长苏怒延。赵王伦篡位，司马三王起兵，王浚首鼠两端，持兵观望。成都王司马颖当时就想讨平他，但内战繁急，无暇他顾。气愤之余，司马颖以右司马和演为幽州刺史，暗中嘱咐他去杀掉王浚并统领其兵马。
和演手持成都王马颖密诏，先秘见乌丸单于审登，得到对方口头支持，一同谋执王浚。新官上任，和演和王浚约定在蓟城（今北京）城南清泉水上共聚宴饮。当时，蓟城内有两条驰道，和演和王浚各走一道。和演想趁两人宾随仪仗交合、马上作揖行礼时，趁机杀掉王浚。不巧，天降暴雨，兵器皆湿，不便弓刀，谋杀王浚未果。
乌丸族的审登单于很迷信，他和族人嘀咕，“和演想杀王浚，几乎得手的时机忽然天下暴雨，定是上天佑助王浚。违天不祥，我们还是别站在和演一边。”于是，审登单于向王浚告密，告之和演要杀掉他。王浚惊恐之下，忙召集兵士，与审登一起攻杀了和演。
控制了当地局势后，王浚召来鲜卑女婿务勿尘，率鲜卑联军两万人，大举进攻司马颖，攻击邺城，杀死汉族士庶数万。鲜卑骑士在城里抢掠了不少汉族美女。回军途中，王浚怕有误战事，下命“有挟藏者处斩”。当时，鲜卑骑兵还很怕晋朝将军的将命，纷纷把抢来的美女推入易水，淹死八千多人。“黔庶荼毒，自此始也”。
晋怀帝继位后，封王浚为骠骑大将军、司空，领乌丸校尉，并封他女婿务勿尘为大单于、辽西郡公。王浚在河北挟势自重，带着一大帮鲜卑雇佣军，与刘曜大将石勒持战，互有胜负。
刘琨派族人刘希到中山名地活动，“代郡、上谷、广宁三郡人皆归于（刘）琨。”王浚见刘琨和自己争地盘，也顾不得去打石勒，挥转马头，率大军与刘琨属军交战。王浚的鲜卑联军战斗力很强，攻杀刘希，“驱略三郡士女出塞，（刘）琨不复能争。”
由于晋将刘琨、王浚两人窝里斗，匈奴刘氏屡屡得手。怀帝永嘉五年，继石勒全歼司马越十余万众之后，汉帝刘聪的军队攻陷洛阳，生俘晋怀帝，杀伤数万汉族兵民，满载而归。
窘迫之余，又是鲜卑老哥们拓跋猗卢派儿子拓跋六修来助刘琨，并为晋朝守卫新兴（山西忻县）
与拓跋六修一起守新兴的刘琨守将邢延找到数块上好玉石，进献给刘琨。为感激拓跋鲜卑人来投附帮忙，刘琨就把这些玉石转送给拓跋六修。这位鲜卑王子贪财，得了好处不说，又向新兴城内的晋将邢延索要更多的玉石。邢延表示所得玉石均已上献刘琨。拓跋六修不信，把邢延的妻儿抓起来囚禁，逼索玉石，邢延大怒，率所部兵攻袭六修，打跑了鲜卑兵，并以新兴城向匈奴刘氏投降，“请兵攻并州”。
局势如此危急、复杂，自以为有大将气度的刘琨仍安然自若。晋怀帝永嘉六年（公元312年），他一面移檄所辖州郡，表示11月会军平阳（山西临汾）进攻汉国，一面在治所大张乐宴，声色是娱。
河南人徐润是个音乐家，刘琨引以为同行、知音，非常宠幸他，竟提拔这个填词作曲的哥们任晋阳令。
徐润骄恣，贪财受货，干预政事。刘琨的护军将军令狐盛是个正直的军人，多次劝刘琨杀掉徐润，刘琨不听。
徐润知道此事，暗恨令狐盛。一次，趁刘琨饮酒赏乐兴致正浓之际，忽然“告发”说令狐盛要率众拥刘琨称帝。一向以精忠晋室为已任的刘琨大怒，不细审情由，立刻派人斩杀令狐盛。其实，仔细推究，刘琨很有可能一直有忌恨、提防令狐盛的心理，借此机会正好发泄。
刘琨的母亲是个贤明知理的老太太，知晓此事后，严责刘琨：“你不能弘图远略，驾御豪杰，只想除掉比自己强的人，以此自安，又怎能完成大业呢？如此下去，祸必及我！”知子莫若其母，刘琨祸事，已经不远。
闻知父亲被枉杀，令狐盛的儿子令狐泥忙逃至匈奴汉国刘聪处，具言刘琨虚实。汉国大将刘粲、刘曜以令狐泥为向导，率精骑进攻并州。刘琨闻讯东出，四处收兵，以图抵战汉兵。刘粲与令狐泥乘虚突袭晋阳得手，杀死刘琨的父母及留于晋阳的家人。晋朝各路军大败。
听闻晋阳失陷，父母被杀，血泣之余，刘琨只得率十余骑人马奔逃至常山。
败亡危急关头，又是鲜卑拓跋猗卢出手相助。
公元313年11月，拓跋猗卢以儿子拓跋六修等将领率众数万进功晋阳，他本人率二十万大军殿后。反观刘琨，此时只有近日招集的汉族散卒数千，夹在鲜卑军中以充向导。
匈奴刘氏的中山王刘矅连忙把军队调出，在汾水东岸与拓跋六修军对阵，双方开打。匈奴遇鲜卑，如狼对虎，始终心怀畏惧，交战不久，汉军大败，刘曜本人身中七创，差点死于阵中。他逃入晋阳城后，连夜与刘粲等人“掠晋阳之民，踰蒙山而归”。
拓跋猗卢率大军追击，在蓝谷（蒙山西南）又大败汉军，“伏尸数百里”。其实，这横倒百里的人尸，估计大半是被汉军裹挟的晋阳百姓，真正的匈奴兵将有马有武器，逃跑途中估计也不忘刀砍斧剁，大肆杀戮平民。最可怜是这些无辜晋民，即使侥幸在匈奴刀口下生存，马上就被追上来的鲜卑人砍掉脑袋。
刘琨自营门步入拜谢，固请进军。拓跋猗卢婉然回绝，说：“吾不早来，至卿父母见害，诚以相愧。今卿已复州境，吾远来，士马疲弊，待后举。”他馈送刘琨兵车百乘，马、牛、羊各千余以为军资，并留下两个本来就是晋人的将军协助刘琨守卫晋阳。
现在，刘琨经营了几年的晋阳又变成废墟，再也无法重建。无奈，刘琨移军至阳曲（今太原以北），虽然仍兢兢业业，招集亡散，但世易时移，形势对他越来越不利。
晋愍帝建兴二年（公元314年），石勒忽然来书要与刘琨请和，并表示愿意率兵征讨王浚以效力晋廷。刘琨大喜，认为石勒可以为自己除掉身边一个劲敌。其实，石勒真正的目的是想集中力量干掉王浚，先卑辞下礼稳住刘琨，以免腹背受敌。
倒霉蛋王浚正值自找膨胀高峰期。其父王沈字处道，他就牵强地认为他们王家应“当涂高”之谶，有称王为帝之命（简直和三国时期的袁术一个德行）。其属下官员谏劝，不是被外放，就是被杀掉。王浚又宠信苛刻小人，矝豪日甚，不理政务，辖境人民饱受压榨，纷纷逃亡邻近的慕容鲜卑部落。
王浚在“八王之乱”中凸显实力，全靠他手下的鲜卑、乌桓雇佣兵，此时，这些人纷纷离他而去，使他失掉手中最大的王牌。加之天灾人祸，王浚的实力大不如前，日益虚弱。
石勒想除掉王浚，但又不知对方虚实，便先遣使向王浚问候，主要目的是觇察其军事、政治实力。石勒的手下参谋多建议石勒以当年羊祜、陆抗那种敌国将领相抗相敬之礼去见王浚。石勒的幕僚长张宾表达了他自己的不同意见：“王浚名为晋臣，其实是想废晋自立，只怕四海英雄不会追随他，因此，他太渴望得到您的拥持。以您威振天下之大名，卑辞厚礼，折节事之，才有可能使王浚信赖您。”