晋怀帝永嘉元年（公元307年）东海王司马越任刘琨为并州刺史，加振威将军，领匈奴中郎将，作为“自己人”安插至并州一带以抵御反叛的五部匈奴刘渊等胡人。
刘琨之所以能被东海王司马越委以如此方面大任，全赖其兄刘舆的鼎力相助。
刘舆，字庆孙，年少时就与弟弟刘琨名重当时。京都人有语曰：“洛中奕奕，庆孙、越石。”兄弟两人青年时代举止浮夸，一直以贵族高门子弟自居，数次欺侮寒人出身的孙秀。这位杀掉潘岳大才子的小人手中得权后很想也干掉刘氏兄弟。但刘氏兄弟与赵王司马伦有姻亲关系，牙根恨得痒痒，也不能把这两个人弄死。经历了赵王司马伦、齐王司马冏两“朝”王爷，兄弟俩因“清贵显名”都能保得一命。范阳王司马虓深知自己兵败逃命时刘舆、刘琨兄弟一直追随自己左右，他在邺城站稳脚跟后，向自己一系的东海王司马越竭力保荐刘氏兄弟。刘舆被封为征虏将军、魏郡太守。
范阳王司马虓病死后，刘舆当机立断，娇诏赐死了邺城内被囚的成都王司马颖，为东海王司马越除去了一大心病。久闻刘舆之名，司马越想把刘舆召至京城在自己身边做事。有人很嫉妒刘舆的才干，就对司马越讲他的坏话：“刘舆象块脏肉，谁接近他都会受到污染。”
司马越先前没有直接和刘舆打过交道，听亲信这么一说也很警惕。所以，这位东海王把刘舆召至京城后，一直对他存疑戒，未加重用。
刘舆入京后，“密视天下兵簿及仓库、牛马、器械、水陆之形，皆默识之”。当时，战事频繁，内忧外患，军国多事。司马越每次开会召集众臣僚佐商议对策时，他手下那些文士、武将都惟惟诺诺，不知所对。惟独刘舆侃侃而言，有条有理，要数据有数据，要细目有细目，山川、水路、战术、战略，娓娓道来，应对如流。“（司马）越倾膝酬接，即以为左长史”。刘舆也不只是那种仪貌堂堂、只会耍嘴皮子的主儿，“宴客满筵，文案盈机，远近书记日有数千，终日不倦，或以夜继之，皆人人欢畅，莫不悦附。命议如流，酬对款备，时人服其能。”欢饮笙歌之余，这位爷竞也把军国大事处理得服服帖帖。看来，不仅仅是刘舆有情商，其智商也超出常人。
正是由于东海王司马越把刘舆定为至亲心腹，才对其弟刘琨加以器重。“（刘）舆乃说（司马）越，遣（刘）琨镇并州，为（司马）越北面之重。”也是为东海王在西北巩固一个根据地。
刘舆才高如此，也逃不过一个“命”字。不过，此位仁兄死得很是时候，各路胡人大军围困，洛阳未失陷时，他因手指感染，得败血病而死，时年四十七。死后备极哀荣，追赠骠骑将军，谥曰贞。
好风凭借力。凭借亲哥哥的保荐，刘琨终有一施报负的机会。
荆棘丛生、胡贼横行的并州路
刘琨当初在赵王司马伦手下打过大败仗，福兮祸兮，也增添了不少领兵战斗的经验。在赴任路上，虽“道险山峻，胡寇塞路”，他仍敢“以少击众，冒险而进”。在给朝廷的表章上，刘琨道出了并州一带的胡寇猖狂、人民死亡的悲惨景象。
“┄┄臣自涉州疆，目睹困乏，流离四散，十不存二，扶老携幼，不绝于路。及其在者，卖妻鬻子，生相捐弃，死亡委危，白骨横野。哀呼之声，感伤和气。群胡数万，周匝四山，动足遇掠，开目睹寇。┄┄”
艰难苦恨途中，刘琨又作《扶风歌》以抒怀心情沉郁，词意慷慨：
“朝发广莫门，暮宿丹水山。┄┄据鞍长叹息，泪下如流泉。烈烈悲风起，泠泠涧水流。挥手长相谢，哽咽不能言┄┄去家日已远，安知存与亡。慷慨穷林中，抱膝独摧藏┄┄资粮既乏尽，薇蕨安可食┄┄君子道微矣，夫子故有穷。惟昔李骞期，寄在匈奴庭。忠信反获罪，汉武不见明。我欲竞此曲，此曲悲且长。弃置勿重陈，重陈令心伤。”
历尽千辛苦，刘琨率领一路招募的一千多号人，沿路搏斗进击，最终到达晋阳城（今山西太原）。当时的晋阳，经五部匈奴军队蹂躏，官府建筑全都被烧焚一空，僵尸遍地。侥幸存活下来的民众，个个被饿成活骷髅，面无人色，整个城内不仅荆棘成林，吃饱了人肉的野狼也四处乱窜。刘琨到后，“剪除荆棘，收葬枯骸，选府朝，建市狱，”几乎重新构建了晋阳城。其间，胡寇和坞堡强盗相继来袭，刘琨率从属兵士“恒以城门为战场”，数历惊险，驱除贼寇，终于在晋阳安顿下来。
刘琨晋人，自有浑然天成的“魏晋风度”。有许多个寒风凛凛的夜晚，晋阳城外胡骑纷纷，团围城市。守兵、人民窘迫之计之时，刘琨一袭白衣，乘月登楼，发出阵阵清啸之声，“贼闻之，皆凄然长叹”。（啸是魏晋时代名人常有的举动，鲁迅等人为是吹口哨，笔者觉得“啸”更可能是以低嗓发出的悲吟之声，类似在以低音歌声中咏叹）。夜深之际，刘琨又吹奏胡笳，音声哀感行人，“贼又流涕嘘唏，有怀土之切。向晓复吹之，贼并弃围而走。”在那样一个血腥、杀戳、乱离的时代，音乐仍有如此巨大的魔力，“胡笳退兵”――竟成中华审美史上的万古绝唱。直至唐代，仍保存有刘琨创造的《登陇》、《望秦》、《竹吟风》、《哀松露》、《悲汉月》五首曲子，统称《胡笳五弄》，其间融有愁远绵长的胡笳之曲，宛转淒伤，令人顿起怀乡思旧之情。当然，刘琨城楼之上独自一人，肯定不是正规的合声演奏，仅是一支胡笳在手，明月当头，呜呜咽咽。墙外群胡，伫马低首，泪眼迷离，谁也不忍心抽白羽搭弦给这位大文豪、大音乐家当胸一箭，艺术的魅力，至此已臻极致。
当时，匈奴刘渊已经称汉王，其老巢离石距晋阳才三百多里地，匈奴铁骑可以一天内驰至晋阳城下。刘琨文武全才，对周遭的匈奴别部“杂虏”施以离间计，“降者万余落”。结果，刘渊反而大惧，迁出离石，在蒲子造坚城而居，惟恐刘琨来袭。
说来也好笑，刘渊称王时，“立汉高祖以下三祖五宗神主而祭之”，并追尊蜀汉主刘禅为孝怀皇帝。刘禅他爸刘备，一直号称中山靖王之后，刘禅肯定也当属中山靖王之后无疑。而这位大晋忠臣刘琨，恰恰是百分百没有掺假的中山靖王之后，汉室血亲。如果论理讲礼，刘渊和刘琨还真能论论世系排行，没准论来论去，两人能论出谁是谁的大爷来（刘渊之姓“刘”其实因“很久很久”以前刘邦曾嫁汉室疏宗公主于匈奴，他是冒姓刘氏而已）。
苦心经营、屡北屡战的艰难岁月
经过年余经营，晋阳城“流人稍复，鸡犬之音复相接矣”。在虎狼争斗之地，附近的汉族人民终于找到了一块相当安全的飞地，生活生产战头三不误，初具立城规模。刘琨的父母此时也从洛阳赶来与儿子相聚，远近士子流民也争相奔赴，依附刘琨。但是，“（刘）琨善于怀抚，而短于控御。一日之中，虽归者数千，去者亦相继。”公子哥性情，终归不能全然改戒。（刘琨）“素豪奢，嗜声色。虽暂自矫励，而辄复纵逸”。美女伎乐，挥金如土，此种性格，估计刘琨承袭他那好色好财好挥霍的远祖中山靖王刘胜。
如在歌舞承平之日，刘琨这种豪奢也没什么太可指摘。但是，当时晋阳三面受敌，北有鲜卑，南有匈奴，东有王浚，皆虎视眈眈，视刘琨为眼中钉，肉中刺，皆欲拔之而后快。
公元308年10月，刘渊在蒲子称帝。其间，汉将石勒连陷巨鹿（河北宁晋），常山（河北正定）、冀州（河北冀县），一百多当地坞堡武装向石勒投降。不久，刘渊的儿子刘聪、汉将王弥与石勒又合军进攻壶关，刘琨遣去的晋将接连被杀，西晋上党太守投降。
屋漏偏遭连夜雨。不仅处处战败消息传来，原先附晋的匈奴右贤王刘虎和白部鲜卑也墙头草顺风倒，纷纷向刘渊称臣，对刘琨的晋阳根据地形成了严重的威胁。审时度势后，刘琨只能遣派使人，带大份厚礼恳请鲜卑拓跋部酋长猗卢出兵，与自己一道，与刘渊争衡。
拓跋猗卢倒是很讲义气，派其侄拓跋郁律率领两万鲜卑骑兵助战。刘渊匈奴兵很能战，但心理上一直害怕鲜卑人的勇猛和亡命。不仅匈奴刘虎的军队大败，白部鲜卑也损失了不少人马，皆败于刘琨、鲜卑联军手下。