尔朱荣得知孝明帝已去世，大怒：“好一个歹毒的妇人，竟然连亲生儿子也能杀害，况且，如今魏国各地盗贼纷起，邻国之敌暗中窥伺，皆是因她胡太后乱政之故。她不顾念天下的安危，却擅做主张，让一个三岁孩童镇抚天下，我身为社稷之臣，岂能对此坐视不理？”便要下令攻打洛阳。部将元天穆谏道：“不可，胡太后固然有大错，但车骑将军若此时攻城，等同于谋反，只怕拿下了洛阳，也是人心不服。”尔朱荣问道：“那我该如何行事？”元天穆道：“孝文皇帝有一弟弟，名叫元勰，在世时极受国人爱戴。元勰育有一子，名叫元子攸，今年十二岁，为人聪慧，品行极佳，将军可派人将他迎入军中，奉他为皇帝，然后攻打洛阳，即是名正言顺。”尔朱荣依照元天穆的提议，派人迎接元子攸到军中。
四月，尔朱荣在洛阳城北设坛，立元子攸为大魏皇帝，是为：魏孝庄帝。孝庄帝登基后，任命尔朱荣为侍中、大将军、大都督、尚书令、太原王，并下诏令他攻打洛阳。尔朱荣的军队方才对洛阳发起进攻，守城将领因胡太后常年擅权宫廷，不久前又毒杀了孝明帝，对她的行为十分不满，主动大开城门，邀请尔朱荣进城。尔朱荣率军进城后，胡太后知道大势已去，带着小皇帝元钊与一干宠臣出逃，不久被尔朱荣的骑兵抓获。胡太后等人纷纷跪在尔朱荣面前哭诉，自称愿出家为尼，只求免去死罪。尔朱荣冷笑一声道：“早知今日，何必当初。来人哪，将这个恶毒的妇人用石头绑上，投入黄河！”胡太后被杀之后，她所立的小皇帝元钊以及一干宠臣也尽数被尔朱荣下令投入黄河。
又有一部下，名叫费穆，暗中劝尔朱荣道：“将军此来洛阳，几乎没有遭遇抵挡便攻克了京师，挟天子以令天下。然而，您的军队不过万人，其实远不及禁军强盛，众人之所以暂时臣服于您，只是因为他们还不了解您的虚实。而且，将军是北人，说的是胡语，穿的是胡服，素来遭到朝中那些达官贵人的轻视。依卑职之见，如果您不趁此机会大诛朝臣，树立威信，另行培植亲信把控要位，用不了多久，洛阳城内必有变故发生。”
尔朱荣赞同费穆的看法，于是一日，他率军簇拥着孝庄帝出宫，来到洛阳城西北一处名叫河阴的地方，说是新帝登基，按惯例要在此祭天，所有官员必须随行，缺席者死罪。待所有官员集齐之后，尔朱荣突然策马跃至一处高地上，大声斥责在场的官员们道：“天下丧乱，先帝暴崩，皆是你等不能尽力辅佐造成的。你们这些人，于国家无益，却个个自居名流，贪婪成性，应该全部杀掉！”言毕，尔朱荣大手一挥，帐下军士万箭齐发，围而射之，将两千多名官员尽数杀死在河阴，史称：河阴之变。孝庄帝亲眼目睹惨剧的发生，悲愤交加，对尔朱荣道：“这个皇帝，是您逼我做的，没想到事情竟然到了这个地步。您若是想自己称帝，我大可把皇位禅让给您，又何必滥杀无辜？”尔朱荣口中连称“不敢”，一回到军中，就与亲信们商议此事。侯景、高欢皆劝尔朱荣称帝，唯独贺拔岳说不可。尔朱荣问贺拔岳：“为何不可？”贺拔岳道：“将军当日率领我等起兵，为的是打败六镇叛军，结束国家的动乱。如今大事尚未成功，却突然有称帝的想法，此乃自取败亡之道。”尔朱荣又令人占卜，结果卦象也显示称帝不吉，尔朱荣这才作罢。事后，尔朱荣亲自向孝庄帝谢罪，说道：“是微臣考虑不周，铸成大错，陛下若要杀微臣，臣绝无怨言。”孝庄帝等于是个傀儡皇帝，哪里敢杀他，只得好言请尔朱荣起身，安抚了一通，虽然如此，尔朱荣与孝庄帝之间已无调和的可能。
经过河阴之变，尔朱荣完全控制了魏国的朝野，孝庄帝的一举一动，皆被尔朱荣监视；朝廷新提拔的官员，不是尔朱荣的亲属，便是尔朱荣的部下。八月，洛阳以北传来急报：葛荣率领大军三十余万将邺城包围，邺城危在旦夕。尔朱荣此时已不用担心他走了之后洛阳会有变故发生，遂上表孝庄帝，请求北上邺城与葛荣决战。孝庄帝问他：“决战葛荣，大将军需要多少人马？”尔朱荣自信道：“本部兵马七千人足矣，待此战结束后，六镇之乱也将随之结束。”孝庄帝依照尔朱荣所请，令他率军七千人星夜赶赴邺城。待尔朱荣走后，孝庄帝又下令元天穆、穆绍、杨椿等人分率数千军队前往增援尔朱荣—他虽然不满尔朱荣独断专横的一系列做法，但毕竟懂得“两弊相衡取其轻”的道理：尔朱荣胜了还好，他如果败了，谁知道恨透了朝廷的葛荣带着数十万如狼似虎的六镇人来到洛阳，杀戮会不会更胜尔朱荣十倍？
便在孝庄帝忧心忡忡地等待中，公元528年九月初，尔朱荣以侯景为先锋，率军七千人抵达邺城北郊。葛荣远远眺望尔朱荣的阵势，见对方的人数很少，喜形于色地对部下们说道：“尔朱荣这厮不知好歹，非要与朕为敌。之前几战，我军虽小负于他，只是因为兵力分散，主力未曾集结的缘故，如今朕手握三十余万大军在此，他竟然还敢前来挑战，那是他自取其辱了。”于是吩咐下去，让士兵们每人准备一根长绳，到时候两军相遇，见着尔朱荣的士兵，只管捆起来就是。待长绳备齐了，葛荣率先出战，他让三十余万士兵排成一条长达数十里的半圆形长阵，缓缓的向北推进，如同一个巨大的簸箕，旨在将尔朱荣的士兵一举包围在其中。尔朱荣观看过葛荣的阵法，也下令全军做好大战准备：此役，他总计带来七千名士兵，和一万多匹战马。其中，他分出了三千人，每人骑一匹马，提前列阵于葛荣阵地前方，教对方清楚看见—葛荣方才所见的尔朱荣士兵，就是这三千人；其余的四千士兵，又被尔朱荣分作三部，隐藏在战场附近的一处山谷之中—这四千伏兵，葛荣并未发觉他们的存在。三部伏兵之中，一部为一千人，尔朱荣将多余的近万匹战马全部交给他们，下令道：“待会交战，无论山谷外面战况如何，你等只管使劲鞭笞这些战马，让他们在山谷中来回奔跑，不用出战。”另一部也是一千人，尔朱荣为他们每人配备了一面战鼓，下令道：“待会交战，无论山谷外面战况如何，你等只管全力擂鼓，不用出战。”还有一部，是最精锐的两千名骑兵，由尔朱荣亲自率领，也提前埋伏于山谷之中。尔朱荣事先为他们每人配备了一根坚硬无比的枣木棒，下令道：“等葛荣大军接近山谷，你等听我号令，届时一齐杀出。此战，我军的武器便是这些枣木棒，而不是你们惯用的刀枪剑戟，与敌人近身之后，用木棒狠狠地敲击他们的头颅！”有士兵觉得不解，问尔朱荣道：“大将军为何弃铁制的武器不用，而用这些棒槌—棒槌难道真的比铁器更方便杀人吗？”尔朱荣听后大笑，说道：“本将军让你们用棒槌上阵，自有用意，等会战斗一经打响各位就明白了！”