孝庄帝设计诛杀尔朱荣，只是出于一时之愤，并未细想此事的后果。结果尔朱荣死后，孝庄帝不仅自身难保，很快就被尔朱荣的党羽所杀；尔朱荣生前东征西讨，为安定北方取得的一系列战果，也皆付诸东流。
尔朱荣的政治才能暂且不论，单论其军事才能，在当时可谓名副其实的北方第一人。在他出山之前，魏国内忧外患，多次处于灭亡的边缘；而仅仅过去几年时间，在他被杀之前，北方已经基本恢复到“六镇起义”爆发之前的状态，边疆战火平息，百姓安居乐业，这一点连敌视尔朱荣的孝庄帝都不得不承认。
当然，尔朱荣军事能力再强，平定北方也非他一人之功，尔朱荣很善于用人，也善于驭人。公元528年，也就是陈庆之护送元颢北伐的同年，在长安称帝，一心图谋光复齐国的萧宝寅被魏军打败，萧宝寅之后投奔了驻扎在关陇北部的一支流民军队，首领名叫万俟丑奴，鲜卑族六镇人。万俟丑奴在萧宝寅的帮助下，很快杀回了关中，到次年九月，已夺取了泾水、渭水之间大量土地，万俟丑奴遂自称天子，宣布以高平为都。听闻关中得而复失，孝庄帝一连几日都急得吃不下饭，魏国群臣也对此一筹莫展，都建议尔朱荣亲自前往迎战万俟丑奴。尔朱荣却轻描淡写地道：“关陇太偏远了，本将军去不合适，万一国内有变故发生，想及时赶回来都来不及。我委派一员上将前往，不出一年，可平定此乱。”
尔朱荣举荐的人，是他的堂侄尔朱天光。此言一出，朝廷急了：尔朱天光没什么军事才能，只怕不是六镇人万俟丑奴的对手啊。尔朱荣道：“急什么，我只是任命尔朱天光为主帅，并未真的指望由他打败万俟丑奴—你们再仔细看看，我让他带了哪些人前去？”
听他这些一说，朝廷连忙再看此行的其他人员，包括贺拔岳（左大都督）、侯莫陈悦（右大都督），此外宇文泰、杨忠、李虎等人也都在出征的名单之中…端的是名将齐出，群星璀璨，这就没问题了嘛！不过，大伙看完名单之后，还是有一个疑问：大将军您怎么独独把高欢给留下了呢？
当着群臣的面，尔朱荣笑而不语。事后，尔朱氏的族人们又拿此事问他。尔朱荣问族人道：“倘若一日我有所不测，你们觉得谁能够代替我统领军队？”尔朱氏众人想了想，都说非尔朱兆不可，确实，当时尔朱荣麾下，属于尔朱氏一族，战功又大的就属尔朱兆了。尔朱荣叹道：“这正是我担忧的事啊，我的大业即将成功，可惜后继无人。尔朱兆虽然勇猛，但他只是个将才，其能够统领的军队人数至多不能超过三千人，超过此数，我怕他驾驭不了；而高欢却不一样，他和我一样，是少有的元帅之才，能够代替我的人只有高欢，所以我怎能让他离开我的掌控呢。”于是尔朱荣唯独留下高欢，并为他在并州境内划出了十二郡，设作晋州（州治在今山西临汾），尔朱荣任命高欢为晋州刺史，将之常年留在关东，安插在自己的眼皮子底下。
及至尔朱荣被杀，尔朱兆带兵入京，攻克了洛阳之后，猛然间想到伯父昔日之言，便想设计把高欢请到洛阳来，先把他除掉，以绝后患。高欢察觉到尔朱兆的用意，派人南下洛阳答复对方道：“近日晋州一带出现许多贼寇，卑职正忙与他们交战，分身不暇，还望恕罪。将军既夺取洛阳，正好从此留在洛阳辅政，不要再回并州了，黄河以北的防务，卑职会竭力替您分担。另外，当今的皇帝是您的伯父生前所立，希望您能够好好对待他，若是草率杀之，只怕会与天下人从此为敌。”尔朱兆不想伯父刚去世，高欢竟敢公然违抗自己的命令，勃然大怒，不但拒绝了高欢劝他不要杀元子攸的提议，更有前往晋州讨伐高欢之意。高欢使者回晋州之后，忧心忡忡地向高欢讲述了此事，高欢道：“不妨，我早已有心脱离尔朱氏的控制，尔朱荣在世时，我尚须畏惧尔朱氏三分。他既然已经死了，我从此当天下无敌，区区尔朱兆，绝对不是我的对手，看我用计取他。”
当时的时局，正是一波未平，一波又起。孝庄帝刺杀尔朱荣，是鲁莽之举，引得尔朱兆等人发兵兴师问罪；尔朱兆勒死孝庄帝，同样是鲁莽之举，也引来了许多人对他的声讨—元子攸就算是傀儡皇帝，也毕竟是公认的天子，哪轮得到你尔朱兆说杀就杀，这一点高欢就看明白了，还特地提醒了尔朱兆，至于尔朱兆听不听从那就不关高欢的事了。面对群情汹涌，尔朱兆果真像尔朱荣分析的一样，当个部将打打小仗还行，一旦让他以最高统帅的身份号令天下，运筹帷幄，便表现的不知所措。公元530年年末，早年被尔朱荣降服的河西贼帅纥豆陵步蕃等人打着为孝庄帝报仇的旗号，来到尔朱兆的封地晋阳。尔朱兆草率迎战，不小心吃了败仗，一时晋阳告急。尔朱兆苦盼其他尔朱氏的族人率军前来相助，却迟迟等不到援兵，尔朱天光、尔朱世隆等人担心把弑君的恶名惹到自己头上，不约而同选择了隔岸观火。唯独晋州刺史高欢一得知尔朱兆被人围困，便点兵选将，打算主动前往救援，部下们都替高欢担忧，认定他此去晋阳，即便打败了纥豆陵步蕃，解除了晋阳的包围，也定会遭到尔朱兆的加害。高欢道：“以尔朱兆的智慧，他怎么可能害得了我。上一次，他正当春风得意，我若去投奔他，免不得一死；这一次则不同，他正陷于危难之中，我去投奔他，他不但不会对我有任何企图，反而会送一份大礼给我，你等若是不信，大可拭目以待。”于是高欢挑选精兵万人，向晋阳进发。