段匹磾第二次被段末柸打得大败而回之后，上下离心，段匹磾本人看到这种情形，也深感不安。本来，段匹磾请刘琨来，是想借助刘琨的威望，提高自己在段氏内部的号召力，然而，事与愿违，会师固安之举的流产，表明了刘琨的作用实在有限。更加让段匹磾始料不及的是，刘琨的威望对外没能让段涉复辰等人听命于己，可是，在段匹磾的治下，却逐渐赢得了原来居住在幽州的晋人人心。这让段匹磾如坐针毡。如今的段匹磾可谓是内外交困，面对咄咄逼人的段末柸，惶恐不安的他找到了刘琨，提出主动撤出蓟县，将幽州的胡人和晋人一起转移到代郡。然而，代郡在晋愍帝建兴三年二月，就被晋愍帝封给了代王拓跋猗卢了。如果是在过去的猗卢时代，刘琨与段匹磾逃难于此，当然毫无问题。但是，如今，拓跋鲜卑早已不再是与刘琨亲如兄弟的拓跋鲜卑了，几万晋人叛逃到刘琨这里，对于拓跋鲜卑而言，不能不是一件令人不快的事件。而当今的拓跋首领是沙漠汗的小儿子拓跋弗的儿子郁律，也就是死去的猗卢的侄儿，拓跋郁律与刘琨并无多深的交情。此时，如果逃难到代郡，显然是凶多吉少。因此，刘琨坚决反对，并说，如果要撤离幽州的话，最好还是南下厌次，去投靠邵续，这样就能够接近江南的朝廷。但是，段匹磾没有采纳。
而就在这个当儿，段匹磾的巡逻兵却抓住了从段末柸那边来给刘琨送信的使节，并从使者的身上搜出了刘群亲笔书写的那封密信。当时，刘琨住在征北将军府所在的小城，与段匹磾并不居住在同一个城内，对于此事完全不知情。段匹磾得到了刘群的书信以后，满腹狐疑，就派人请刘琨进城，谎称有要事相商。毫不知情的刘琨毫无防备地进城来见段匹磾，段匹磾一向都对刘琨十分敬重，也没有要杀害刘琨的意思，他将刘群的书信拿给刘琨看。看过书信，刘琨从容地说道：“我与您发誓同盟，一起效力王室，不说我没有收到书信，即使收到了书信，我也不会因为一个儿子，就做出辜负您的事情的！” 段匹磾说：“我根本就不怀疑您的，所以，才拿出来叫你看来着。”话虽这样说，但是，这封书信不能不让段匹磾有所警惕，而此时，段匹磾的另一个弟弟段叔军暗暗说道：“我们是胡人，之所以能让晋人服从，只是因为他们屈从于我们人多。如今，我们骨肉相残，正是晋人人心思动之时。如果现在有人站出来，奉刘琨为主，那么，我们就全完了。”段叔军的提醒早已超出了那封书信的本身，这让段匹磾满腹狐疑，本来他还打算将刘琨送回，但听段叔军这么一说，就把刘琨软禁起来了。
刘琨被软禁以后，事态开始失控。消息很快像瘟疫一样迅速传播，留在小城的刘琨的庶长子刘遵担心被杀，就与刘琨的左长史杨桥、并州治中如绥闭城自守。段匹磾派人前往晓谕，但是，刘遵置之不理。于是，段匹磾派兵强行攻击小城。城内粮食不多，守军坚守了一段时间，刘琨的部将龙季猛因乏食，眼看坚持不下去了，就杀掉了杨桥和如绥，率众开门投降。刘琨一直被段匹磾关押了将近一个月的时间，消息传来，晋人义愤填膺，段匹磾任命的代郡太守辟闾嵩、刘琨任命的雁门太守王据、后将军韩据等人密谋，串联部众，秘密制造攻城器械，准备攻下幽州，袭杀段匹磾，救出刘琨。然而，韩据的女儿是段匹磾儿子的妾，她听说了自己亲生父亲的计划，于是，就向段匹磾告发，段匹磾立即逮捕了辟闾嵩、王据以及牵连到的部众，全部杀掉。事已至此，再无挽回的余地。
这时候，正好建康方面派来了使者，史书称，这是王敦的使者。听说建康来的使者是王敦派来的，刘琨对儿子说：“处仲（王敦字）使来而不我告，是杀我也。死生有命，但恨仇耻不雪，无以下见二亲耳。”说罢，忍不住歔欷长叹，泪落如雨，悲不自胜。此时的刘琨知道自己必死无疑，来日无多，但他早已将死生置之度外了。在被软禁中，他写下了那首流传千古、感人至深的五言诗——《赠卢谌》：
“握中有悬璧，本是荆山球。惟彼太公望，昔是渭滨叟。邓生何感激，千里来相求。白登幸曲逆，鸿门赖留侯。重耳凭五贤，小白相射钩。能隆二伯主，安问党与仇！中夜抚枕叹，想与数子游。吾衰久矣夫，何其不梦周？谁云圣达节，知命故无忧。宣尼悲获麟，西狩泣孔丘。功业未及建，夕阳忽西流。时哉不我与，去矣如云浮。硃实陨劲风，繁英落素秋。狭路颂华盖，骇驷摧双辀。何意百炼刚，化为绕指柔！”
另有《答卢谌诗》，其诗序，对自己的一生做了深入的总结：“琨顿首。损示及诗。备辛酸之苦言，畅经通之远旨，执玩反复，不能释手，慨然以悲，欢然以喜。昔在少壮，未尝检括，远慕老庄之齐物，近嘉阮生之放旷。怪厚薄何从而生，哀乐何由而至。自顷辀张，困于逆乱。国破家亡，亲友雕残，块然独坐，则哀愤俱至。时复相与举觞对膝，破涕为笑。排终身之积惨，求数刻之暂欢。譬由疾疢弥年，而欲一丸销之，其可得乎？夫才生于世，世实须才。和氏之璧，焉得独曜于郢握？夜光之珠，何得专玩于随掌。天下之宝，固当与天下真之，但分析之日，不能不怅恨尔。然后知聃周之为虚诞，嗣宗之为妄愚于虞而知于秦，遇与不遇也！今君遇之矣，勖之而已。不复属意于文二十余年矣！久废则无次，想必欲其一反，故称指送一篇，适足以彰来诗之益美耳。琨顿首顿首。”
318年5月8日，段匹磾对外宣称刘琨企图自立为帝，犯上作乱，自己奉密诏诛杀刘琨，派人将刘琨勒死，刘琨死时年仅48岁，同时，段匹磾还诛杀了刘琨的儿子、侄子共四人。一代英雄、一代诗人、一代忠臣，在这样一个乱世当中，就这样被冤杀掉了。刘琨死后，江南政权为了拉拢段匹磾，并没有对刘琨任何褒赠，他们每一个人的心里其实都知道刘琨不可能犯上作乱，也都知道段匹磾的借口是多么的苍白，但是，没有一个人为这位蒙受不白之冤的孤忠之人说上一句公道话，数年之后，流落在段末柸那里的卢谌、崔悦为刘琨上书鸣冤，即使如此，司马睿仍然无动于衷；只是在被司马睿爱赏的、温峤（刘琨是其姨夫）多次请求，乃至以北去相要挟的情况下，东晋政府才在数年（极有可能是在段匹磾兵败）以后，才为刘琨发丧，赠太尉、侍中。
刘琨的死在当时是一件大事。晋朝庭在北方最有影响力的抗胡英雄的陨落了，正如卢谌、崔悦表中所说的那样：“自河以北，幽并以南，丑类有所顾惮者，唯琨而已”；刘琨的死，在后世也是一件总能令无数仁人志士扼腕叹息的大事。我们不能说刘琨是一个完人，刘琨年轻时曾经浮华、也曾经因失误痛失并州，但是，刘琨很早的时候，就抛弃了浮华，艰难备尝，苦心孤诣，为几乎难为之事，在多过江之鲫的毫无民族自尊和忠贞气节的西晋大臣中间，他鹤立鸡群，显得那么难得；刘琨是一个浪漫主义者，刘琨是一个理想主义者，刘琨又是一个踏实去干事的大写的人，这就是仁人志士的本色！他让我们看到了人性的光和热！后世无数志节之士写下了无数悼念刘琨的诗歌和文字，每当他们孤独寂寞的时候，总是能够想到刘琨，他们以刘琨为榜样，时刻砥砺着自己的人格，激励着自己前进。其中较为著名的有：陆游的《夜归偶怀故人独孤景略》：“买醉村场半夜归，西山落月照柴扉。刘琨死后无奇士，独听荒鸡泪满衣！” ；文天祥的《刘琨》：“中原荡分崩，壮哉刘越石。连踪起幽并，只手扶晋室。福华天意乘，匹磾生鬼蜮。公死百世名，天下分南北。”和元好问的那首“曹刘坐啸虎生风，四海无人角两雄。 可怜并州刘越石，不教横槊建安中。”等等，表达了对刘琨无限的哀思……