当赵修从家中返回洛阳以后，宣武帝就开始疏远他了。高肇秘密联络侍中、领御史中丞甄琛、黄门郎李凭、廷尉卿王显，罗织了赵修的各种罪状，密报给了宣武帝。甄琛等人过去都是赵修一党，对赵修是曲意逢迎，无所不至，但这些人都是一些毫无道德底线的势利小人，当他们看到赵修行将失势，担心自己受到牵连，均见风使舵，改换门庭，无不争相协助高肇告发赵修。于是，宣武帝下诏揭露其罪恶，命令将其鞭打一百，流放到敦煌当兵，由尚书右丞元绍负责执行。元绍是常山王拓跋素的孙子，拓跋素的父亲拓跋遵与道武帝拓跋珪为堂兄弟关系，虽为北魏宗室疏属，但辈分很高，为宣武帝元恪五世祖一辈。当天，赵修还在领军将军于劲的府邸里赌博，对此毫无知情，突然，数名御林军士兵进入，称诏皇帝召其入宫。惊恐之间，赵修从座位上站了起来，随着这些士兵出了于劲家。途中，士兵们并没有将他带入皇宫，而是送到了领军将军府。甄琛、王显负责监督处罚，他们已提前挑选了五名壮汉，轮番鞭打赵修，想要当场将其打死。暗中命令行刑人鞭打了赵修三百下，谁知，赵修这家伙十分壮硕，他虎背熊腰，非常耐打，行刑中毫不躲避，赵修却没有被打死。无奈，甄琛等人只好召来驿马让赵修立即上路，到敦煌报到。毕竟是血肉之躯，遍体鳞伤的赵修被放于马上，行至洛阳西门，已实在是疼痛难忍，无法前行。押解人员用绳索将他的脚固定在马鞍上，赶着马匹飞驰而去。赵修的母亲妻子闻讯急急忙忙前来话别，却未能见上一面。出洛阳八十多里后，赵修即死掉了——毫无疑问，他是被政敌杀死的。赵修死后，宣武帝才知道消息，他责问元绍为何不重新请示就径行裁决。元绍回答：“赵修是一佞幸小人，为国家的大害。臣不因此将其除掉，恐怕后世之人会非议陛下的。”宣武帝自然很不高兴，但他也知道赵修得罪的人太多了，如今赵修已死，木已成舟，也就只好这样了。元绍出宫后，广平王元怀（宣武帝元恪的同母弟）向他拜谢，说道：“您老人家就像汉代的汲黯一样正直。”元绍回答：“唯一的恨事是杀他太晚了，对此，深感惭愧啊。”第二天，甄琛、李凭也因为过去曾是赵修一党而被免官，宣武帝身边的近臣因赵修一案而受到牵连被罢免或被处死的，就有二三十人。散骑常侍高聪也是赵修一党，但他与高肇同姓，攀上亲戚后又对高肇极尽巴结之能事，因此而免受处罚。甄琛虽原为赵修一党，但已投靠了高肇，他的被免出自宗室诸王的，而并非来自高肇的意思。

赵修一案，领军将军当然知道谁是幕后黑手，同样的，他也非常清楚矛头对准的还有自己。赵修死后，于劲尚念及与赵修两人之间的旧情，还经常照顾赵修的家人，至于过去曾对自己溜须拍马的朝臣，他一概与他们断绝了来往，表示自己已经失宠了。于劲的判断不是没有道理的，高贵嫔刚刚入宫，就发生了赵修一案，这其中是否有某种联系？

赵修死后，宣武帝将被赵修排挤在外的茹皓征召回来，担任骁骑将军，主持华林园内园林修造。茹皓心灵手巧，在建筑设计方面颇有独到之处，他命人将汝河颍河之间的竹木移栽过来，又在园中种树种草，让华林园焕然一新，宣武帝非常高兴。茹皓也因此受到宣武帝的极度宠信，被升为冠军将军，逐渐取代了赵修过去的位置。《魏书·恩幸传·茹皓传》称，“是时世宗虽亲万务，皓率常居内，留宿不还，传可门下奏事。”宣武帝还曾命他与宦官刘腾一起到徐州、兖州一带挑选民女。在茹皓最受宣武帝宠幸的日子里，即便是太傅北海王元祥、外戚高肇等人也都对他深为忌惮，争相与之结交。茹皓的弟弟年纪刚刚二十岁，就破格提拔为员外郎，他又替弟弟向安丰王元延明的妹妹求婚。安丰王元延明的父亲是献文帝的弟弟、安丰王拓跋猛，也就是说，元延明与孝文帝是堂兄弟关系，是宣武帝元恪的堂叔。元延明此人博览群书，家中藏书万卷，与中山王元熙、临淮王元彧均以才学闻名于世，临淮王元彧的曾祖是太武帝拓跋焘的儿子临淮王拓跋谭，按辈分是宣武帝的族叔；中山王元熙是太武帝的儿子景穆太子之子南安王拓跋桢的孙子、元英的儿子，对宣武帝来说，他是比元彧更近一层的堂叔。元延明瞧不起茹皓的出身，起初并不愿意这门亲事，但元祥劝他：“你想混个一官半职的，怎能不与茹皓联姻呢？”听了元祥的劝告，元延明这才答应。茹皓本人也娶了高肇的堂妹，从辈分上说，茹皓还是宣武帝的姨夫；此人比较聪明，又善于联络他人，暗中收受贿赂，在皇宫的西面建造华丽的宅院，朝廷重臣也无人能及。