当初，段匹磾在奔兄丧时，刘琨的儿子刘群也和他一起。段末杯大败段匹磾，段匹磾逃走，刘群被俘。段末杯抓住刘群后，“厚礼之”，答应推戴刘琨为幽州刺史，结盟共击段匹磾。刘群年青无识，写信给父亲刘琨，并派密使送信。半路，段末杯派来为刘群送信的人被段匹磾手下抓获，搜出密信。
对此，刘琨一无所知。忽然受到段匹磾“邀请”，刘琨便欣然前往。两人坐定，段匹磾拿出刘群的密信，对刘琨说：“我也没有怀疑您参与此事，特意把真情告知您。”
刘琨览信过后，神情凝重。良久，他推心置腹地说：“我与您结盟，志在恢复晋室，以雪国家沦亡之耻。即使我儿子的书信送至我处，也不会因一子之故辜负您！”段匹磾不断点头。他一直钦敬刘琨的操节，知道其所言发自内心，便想听任刘琨还其所属部伍。
其间，段匹磾的弟弟段叔军把兄长唤至厅外，劝道：
“我们本来就是胡夷外族，现在能让晋人畏服，正是我们人多势重的原因。如今，我们家族内部骨肉相残，正是晋人良图之期。如果有人奉戴刘琨从中起事，恐怕我们家族会尽被屠灭！”
段匹磾闻言，深觉有理，于是他下令把刘琨软禁起来。
消息传出，刘琨长子刘遵害怕也被囚杀，与刘琨僚属一起闭门自守。由于兵少，段匹磾兵将很快攻下营垒，执捕众人。
“（刘）琨既忠于晋室，素有重望，被拘经日，远近愤叹”。连被段匹磾任命的代郡太守和刘琨任命的雁门太守也都一起密谋计议，准备联召军兵，袭击段匹磾，救出刘琨。不久，两个太守谋泄被杀。段匹磾虽杀掉数人，自己也内心惶恐。
刘琨自被拘禁，“自知必死，神色怡如也。为五言诗赠其别驾卢谌”。此诗，即是文章开首那首《重赠卢谌》。
东晋朝廷方面，权臣王敦派人密告段匹磾，让他杀掉刘琨。段匹磾外迫于王敦，又内惧属下造反，就声称皇上诏旨，下令诛杀刘琨。
刘琨听说王敦来使，就已预料自己的命运，他对儿子刘遵说：“处仲（王敦字处仲）使来而不告我，是杀我也。死生有命，但恨仇耻不雪，无以下见二亲耳”。大英雄言及此，泪下如雨。
段匹磾遣兵士闯入，缢杀刘琨，时年四十八。同时遇害的，还有刘琨的子侄四人。由于当时晋廷还要依仗段匹磾抵拒石勒，没有立即为刘琨正名举哀。
两年多后，晋廷才下令赠刘琨为侍中、太尉，谥曰愍。南宋大诗人陆游与民族英雄文天祥都有佳诗赞美刘琨。
买醉村场半夜归，西山照月落柴扉。刘琨死后无奇士，独听荒鸡泪满衣。
《夜归偶怀》陆游
寥阳殿上步黄金，一落颠崖地狱深，苏武窖中偏喜卧，刘琨囚里不妨吟。生前已见夜叉面，死去只因菩萨心。万里风沙知已尽，谁人会得广陵音。
《已卯十月一日有感而赋》文天祥
段匹磾杀掉刘琨后，其属下汉人、胡人多奔散。杀刘琨是段匹磾一生最大败笔，但这个鲜卑人一直忠于晋室。不久，他与晋臣邵续合力，进攻段末杯。石勒大将石虎乘段氏兄弟互攻之际，乘间掩袭，最终把段匹磾包围于蓟城。
段匹磾本想突围逃生，单骑归朝，被人劝阻。最后，眼见救援无望，段匹磾身穿晋朝朝服，手持晋节，率从人出见围攻他的石虎，正色凛然道：“我受国恩，志在灭汝。不幸族内自乱，以至于此。既不能死，也不会奉汝为主。”石虎与段氏鲜卑一族从前常打交道，二人还曾结拜为兄弟。石虎虽残暴成性，对段匹磾仍十分尊敬，“起而拜之”。
段匹磾被执送襄国后，被石勒软禁，常常也被石勒“请出”参加赵国的“朝会”。段匹磾总是一身晋朝朝服，手持晋节，从不向石勒下拜。以石勒、石虎之暴，竟也一时不敢对段匹磾下手，可见这位鲜卑大人的威武和人格魅力绝非常人可比。
石勒忍耐一年多，见始终无法降服这位辽西鲜卑，又怕其族人趁机拥之东山再起，便加以谋乱罪名，派人杀掉了段匹磾。
《晋书》对段匹磾的评价非常中肯：
“段匹磾本自遐方，而系心朝廷，始则尽忠国难，终乃抗节虏庭，自苏子卿以来，一人而已。越石（刘琨）之见诛段氏，实以威名；匹磾之取戮世龙（石勒），亦由众望。福祸之应，何其速哉！《诗》云：‘无言不酬，无德不报’此之谓也。”
（附）关河大志闻鸡起舞——祖逖的恢复大志
“闻鸡起舞”、“中流击楫”，是中国人耳熟能详的典故。但真正了解这两个典故主人公祖逖事迹之人，却又廖廖无几。
祖逖，字士稚，范阳遵人（今河北涞水）。祖家世为北州大姓，“世吏二千石”。
祖逖年少丧父，兄弟六人，共同撑持家业。青少年时代，祖逖“生性豁荡，不修仪检，年十四五犹未知书，诸兄每忧之。然轻财好侠，慷慨有节尚。每至田舍，辄称兄意，散谷帛以周贫乏，乡党宗族以是重之。后乃博览书记，该涉古今，往来京师，见者谓（祖）逖有赞世之才”。
晋武帝太康年间（公元290年左右），二十四、五岁的祖逖与刘琨一起任司州主簿，两人英雄相惜，谈诗饮酒，共为豪爽喜侠之士。“情好绸缪，共被同寝。中夜闻荒鸡鸣，蹴琨曰：‘此非恶声也’，因起舞”。由于二人皆是不羁骑士，常常夜中坐起，纵论世事，“相谓曰：‘若四海鼎沸，豪杰并起，吾与足下当相避于中原耳”。由此，可以看出祖逖已经预见国中将有兵灾变起之日。
“八王之乱”后，晋室沦丧。公元311年（怀帝永嘉五年），洛阳陷落。祖逖率亲族乡党数百家避乱于淮泗（今江苏徐淮地区）。一路之上，祖逖躬自步行，把自己的车马让给老弱疾病的人，衣粮药物施予有急之人。逃亡途中多遇盗贼险阻，祖逖应付裕如，显示出极强的组织、领导才能，被同行诸人推率为“行主”。抵达四泗时（今徐州市），当时的琅玡王司马睿任命他为徐州刺史。不久，祖逖又被征为军谘祭酒，在京口（今江苏镇江）屯驻。（行主，是坞壁首领的称呼之一。又称坞主，营长等。坞壁组织是中国历史上动乱时代百姓为自身生命和财产安全，相聚于山林险地，凭险依势，形成一种相对独立的宗社流民自治组织。坞壁在王莾末年大动乱时代已经出现，但西晋末及东晋十六国时期，由于世道混乱，坞壁最为繁盛。“永嘉之乱，百姓流亡，所在屯聚”。坞壁的规模，大小不一，从几百家到几千家。首领多由乡里威信高的大族豪强担任，宗族是坞壁的核心构成，而各地流民则构成坞壁的基层组织。因而“招纳流亡”也成为坞壁的一大特色。此外，在门阀士族把持朝政的南北朝，坞壁也是民间下层豪强一显身手的惟一表演空间，在这样一种且战且耕的组织内部，只有靠义气、信誉、公正以及坞壁主的个人魅力来进行管理和沟通，宗法与恩义是坞壁赖以生存、发展的两大支柱。当然，坞壁日后也成为南北朝政局不稳的重要因素，地方豪强中也有不少人演变为动乱的潜在因子和新一轮门阀的候选人。）
作为一时人杰，祖逖常怀恢复之志。晋愍帝继位后，下诏命远在江东的司马睿率兵赴洛阳来勒王。司马睿当时致力于确保江南一隅不失，根本无意（也确实没有足够力量）进行北伐。祖逖上表，慷慨陈词，司马睿就顺手推舟做人情，给祖逖虚封一个豫州刺史的衔号，象征性地拨调千人粮饷、三千匹布帛以充军费，让他自己想办法招募兵士。至于甲胃弓矢、士卒粮马，琅玡王再没有任何支持。
大英雄祖逖本来完全可以在江南依附司马睿，求田问舍享清福。至此，他毅然出发，率先前和他一起南渡的宗族部曲百余家，从京口北渡长江。行至中流，祖逖拨剑而起，眼望茫茫大江，敲击着船楫说：“祖逖不能清中原而复济者，有如大江！”辞色壮烈，众皆感奋。
渡江之后，祖逖屯驻江阴，冶造兵器，招募兵卒。拥有两千多名武装后的士卒后，祖逖开始北进。
当时，长江以北地区属于大乱过后的三不管地区，各处流民和当地住民纷纷建立坞堡武装，自封刺史、太守，看谁力量大就依附谁，完全乱了“王法”。祖逖纵横捭阖，击败击降坞主张平、樊稚等人。太丘之战胜利后，祖逖攻克谯城。后来，蓬陂坞主陈川叛归石勒，并引来大魔头石虎的五万羯族精兵，祖逖出战，与赵兵相持。