无论真相如何，世人一般都只会看到和相信表象，那就是：刘琨变了，变成宠信小人、杀害忠良的昏主。更重要的是，在朝廷覆灭、匈奴称帝的大环境下，孤悬的并州士人已经丧失了信心，一些人甚至开始弥漫投降主义的情绪：俺们的目的只是保乡保土，谁当皇帝关我屁事？何必陪着没出息的西晋朝廷殉葬呢！
所以，刘琨杀死令狐盛只是给了他们一个恰到好处的理由。公元前312年秋天，令狐盛之子令狐泥出逃投靠刘聪。他把晋阳军情和盘托出，还当了向导，趁着刘琨外出巡视的时机，引导刘曜（刘聪的堂兄弟，以后成为匈奴国末代君主）大军围攻晋阳。守城的太原太守高乔、并州别驾郝韦都是令狐盛的故旧、并州本土势力的代表，当即献城投降。刘琨苦心经营多年的根据地就这样落入匈奴之手。城陷之后，刘琨父母也被敌军杀死。
噩耗传来，刘琨错愕良久，终于留下一行清泪。
正如他自己的诗里写的“功业未及建，夕阳忽西流”，整整六年殚精竭虑，满腔心血创下的事业竟然就这样流逝了；当年亲率八百锐骑，在万军之中忘死冲杀，九死一生才救出的双亲，竟然就这样被属下出卖害死了！国破家亡，众叛亲离，为何到头来是这样的结局！
人生的幻灭感，一时笼罩了他。《晋书》以“泣血尸立”一词来形容此时的刘琨，其情其景，令人扼腕痛心。
但他再次振作起来，虽然带着满身的忧伤。
待重头，收拾旧山河。不到最后的一刻，我是不会放弃的。
他收集了逃散的将士，又找到结拜兄弟拓跋猗卢，借来数万鲜卑骑兵，与刘曜的匈奴军在汾东决战。誓死复仇的晋鲜联军击鼓猛攻，大败匈奴军，连主帅刘曜也身负重伤、跌落下马，只好趁着夜色掩护逃了回去。拓跋猗卢领着鲜卑轻骑追击，又杀得匈奴溃兵伏尸数百里，终于收复了晋阳城。此时的晋阳已无复当年气象，人口财富尽被匈奴掠走，回到了六年前的原点。
此时的刘琨，只有一个念头：尽力而为，死而后已。公元313年，据守长安的秦王司马邺即位为晋愍帝，组织了三路会攻洛阳的反击计划。他拜刘琨为大将军、都督并州诸军事，担任北路军统帅。刘琨上表说：“夷狄续毒于神州，夷裔肆虐于上国……我必被坚执锐，誓报寇仇！”
这年正月，刘琨与拓跋猗卢会师于晋阳，遵照诏书进攻匈奴都城平阳。刘聪大惊失色，急调主力回防，两军连日大战，不分胜负。可惜的是，负责南路军的琅邪王司马睿割据江南，刚刚遭受了羯人石勒的追杀祸害，根本没有出兵北伐的勇气，只给了主战派祖狄一千人马；而晋愍帝派遣的西路军统帅司马保懦弱无能，曾经沾沾自喜地自夸有“体重八百斤”，纯属酒囊饭袋之辈。两路大军形同虚设，刘琨的北路军也就独木难支、无果而终了。
三路反击流产之后，晋愍帝深知只有并州刘琨还可一战，于是又请其单独行动。公元314年，刘琨与拓跋猗卢商定会攻平阳。不料横生枝节，就在出兵之前，羯人石勒用诈降的法子杀了幽州刺史王浚，吞并了并州以东的地盘。消息传来，并州的一万多户羯族人就准备发动叛乱策应石勒。拓跋猗卢和刘琨虽然屠灭了这些叛军，但石勒势头正盛，对并州虎视眈眈，他们也就再无余力谈反攻的事了。
公元316 年，孤立无援的西晋朝廷终于走到了末路。这年八月，刘曜率匈奴大军围攻长安，到十一月城内兵疲粮尽，晋愍帝乘坐羊车出降，西晋终于灭亡了。但在匈奴的残暴统治下，陕甘一带反抗不断，直到公元323年，晋军勇将陈安战死，匈奴才终于平定三秦。关中父老为之追念不已，涕泪哀歌曰：
陇上壮士有陈安，躯干虽小腹中宽，爱养将士同心肝。
讘骢父马铁锻鞍，七尺大刀奋如湍，丈八蛇矛左右盘。 十荡十决无当前，百骑俱出如云浮，追者千万骑悠悠。 战始三交失蛇矛，十骑俱荡九骑留，弃我讘骢窜岩幽。 天大降雨追者休，为我外援而悬头，西流之水东流河。 一去不还奈子何，阿呼呜呼奈子何，呜呼阿呼奈子何！ [
西晋的灭亡，让苦心孤诣、惨淡经营的刘琨如同五雷轰顶。祸不单行，这年年底，刘琨的忠实盟友拓跋猗卢因为废长立幼，被长子谋杀，拓跋部大乱。刘琨的儿子刘遵正好在拓跋部落作人质，就带着依附于拓跋部的三万汉人南逃晋阳，刘琨亲率数百骑兵前往迎接护送。
此时刘琨面临着国家灭、盟友死的困境，石勒不愧一代枭雄，抓住时机猛攻扼守太行山口的乐平，妄图破关西进。接到乐平太守韩据的求救信，刘琨聚集众将商议对策。箕澹劝道：“虽然新招徕了三万人，但他们一直生活在拓跋部落，难以用法令驾驭，不能马上投入战斗。所以，应当据险自守、修养生息，慢慢消化之后再作打算。”这些情况，刘琨何尝不知。但此时的并州是坐困愁城，西方和南方都是匈奴人的地盘，东边的幽州落在羯人手里，北边的盟友拓跋人已经指望不上。如果不救乐平，让石勒大军破关而入，孤立无援的晋阳又能坚持多久呢？
困守孤城，或许可以迁延日月，但终究会走投无路；全力一战，虽然胜算微小，但至少也算壮烈吧。环顾天下，华夏沦亡，就让我来作最后一搏！
于是刘琨集结了全部两万精锐，迎击石勒。在晋末乱世中，石勒算得上顶尖名将，南征北战无数，击灭过许多宿将雄豪。他曾信心满满地自我评价：“我的能力介于汉高祖刘邦和光武帝刘秀之间。要是遇到光武帝，就当并驾齐驱，还不知道鹿死谁手。至于曹操、司马懿之流，只会欺负孤儿寡母，不配和我比！”
事实证明，他的自负是有本钱的。刘琨终究不是武将出身，属下也是难民成军，没了拓跋鲜卑的助战，根本不是石勒的对手。在羯族军的伏击下，刘军大败亏输，主力尽灭。当时并州又遭遇大旱，外无能战之兵，内无可守之粮，无奈之下，刘琨率领余众离开抗战十年的并州，撤离到山西北部的飞狐口，然后东下太行山，投奔新任幽州刺史段匹磾。