顺风顺水的高欢也遇到了一件令其非常不快的事情。就在他年初讨伐刘蠡升之时，留守晋阳的14岁的世子高澄竟然与自己心爱的妃子郑大车私通了！荥阳郑氏虽然不乏帅哥美女，郑大车的从兄郑俨就是胡太后的情夫，但郑氏一门大多家风污秽，郑大车的哥哥郑严祖在前两年就曾因与堂妹通奸而被御史中尉弹劾，史称他们家是“轻躁薄行，不修士业，倾侧势家，乾没荣利，闺门秽乱，声满天下。”在这种家风的熏陶之下，郑大车做出与高澄乱伦之事也在预料之内。不仅郑大车与高澄有过私通之事，另据《北齐书·高祖十一王传》记载：郑大车的亲生儿子高润“年十四五，母郑妃与之同寝，有秽杂之声。”也就是说，在十余年后，民间亦传闻，郑大车又与自己的亲生儿子有乱伦之事。
高欢从前线回来后，就有一个婢女向高欢告发，另外两个婢女作证。郑大车嫁给高欢后，最受高欢的宠爱，听到儿子竟然与自己的爱妃私通，高欢是勃然大怒，不仅下令把高澄重打了一百大棒，关押起来，连高澄的母亲、自己的结发妻子娄氏也被软禁。当时，大尔朱氏已为高欢生下了第五子高浟，而且高欢对大尔朱氏也是宠爱有加，因此，他打算废掉高澄，另立高浟为世子。高澄得知后，赶忙派人向身在邺城的司马子如求救。司马子如见到高欢后，假装对此事一概不知，请求拜见娄夫人，高欢这才告诉了他。司马子如现身说法，劝说高欢：“我的儿子司马消难也奸污过我的妾，家丑不可外扬，这种事只能掩盖，岂可张扬？”接着，司马子如开始给高欢打悲情牌，他继续说道：“王妃是大王的结发妻子，过去经常把父母家里的财物拿来让大王使用；大王在怀朔镇时，被镇将打得体无完肤，王妃昼夜在您的身边伺候。后来，你们夫妻二人一起躲避葛荣，逃到并州。家里实在太穷苦了，王妃亲自燃烧马粪，给你做饭，还亲手给你缝制靴子，这种恩情岂能忘掉？苍天有眼，你们夫妻关系和睦，儿子高澄能继承大业，女儿嫁给了皇帝（长女嫁孝武帝），而且王妃的弟弟、领军将军娄昭建立的大功，岂能一下抹杀？一个女人如同一颗小草，何况婢女口里说的话不必当真。”司马子如的一席话说得高欢有些动摇，他下令让司马子如再次审讯告发的婢女。
司马子如从高欢那里出来后，见到高澄，故意埋怨他说：“男子汉大丈夫为何要惧怕权威，自己诬陷自己？”于是，他召到两位作证的婢女，让二人改口，并逼迫那位告发的婢女上吊自杀。等到一切办妥之后，司马子如向高欢报告说：“果然是假的。”高欢听后大喜，这才下令娄昭君和高澄晋见。其实，以高欢的聪明，他岂能不知这事是司马子如从中做了手脚？显然，在权衡利弊之后，高欢最终选择了给自己一个台阶罢了。
娄昭君进入院子，远远地看见高欢，走一步就要跪下叩一个头；高澄进来后，也是边拜边走。看到妻子儿子如此这般，高欢也流下了眼泪，父子夫妻三人相抱而泣，和好如初。高欢设宴款待司马子如，说道：“保全我们父子的是你司马子如啊！”赏赐给他一百三十斤黄金；高澄赠给司马子如五十匹骏马。这场风波就此尘埃落定，但它只是高氏家族内部淫乱的开始。
撇下高欢不提，我们再来看宇文泰。对于宇文泰而言，同样面临着诸多挑战。
首先就是他与孝武帝的关系问题。为了拉拢宇文泰，孝武帝永熙三年八月进入关中，当月即答应将自己的妹妹冯翊公主嫁给了他，于是，时年28岁的宇文泰也由此成为了25岁的孝武帝元修的妹夫，被拜为驸马都尉。九月，高欢退回洛阳。宇文泰即率军东下进攻潼关，并攻克了华州，关上了东魏军队西上的大门。高欢迁都之后，宇文泰腾出手来，派遣仪同三司李虎、李弼、赵贵率军北上，解决灵州的曹泥。到第二年年初，李虎等人招降了费也头部众，一起进攻灵州，经过四十天的围困，曹泥终于投降了。
而就在宇文泰全力解决曹泥这一心腹之患的同时，他与孝武帝的关系却陡然恶化了起来。如前所述，孝武帝宠爱自己的三个堂妹：南阳王元宝炬的妹妹平原公主元明月、清河王元亶的妹妹安德公主、还有一个名叫元蒺藜的公主。还是洛阳之时，孝武帝曾在宫中饮宴，命一群女人咏诗，有人曾吟咏鲍照的乐府诗：“朱门九重门九闺，愿逐明月入君怀。”孝武帝入关时，仓促之间只带上了最心爱的堂妹元明月一人，元蒺藜羞愤之余竟上吊自杀而死。孝武帝与自己堂妹之间的乱伦关系，让宇文泰感到很不舒服，他命令宗室诸王将元明月抓来杀死。宇文泰此举让孝武帝勃然大怒，有时候他弯弓搭箭，有时候拍打桌案，从此他与宇文泰势不两立，君臣之间再无和好的可能。永熙三年闰十二月十五日，嵩山道士潘弥上奏说：“今日千万要谨慎，当有急兵。”孝武帝一天都是提心吊胆的，好不容易挪到夜里，他在逍遥园宴阿至罗酋长，宴会上，他对侍臣说：“此处就像是洛阳的华林园，使人增添一份悲戚之感。”他让人牵来自己常骑的波斯骝马，让南阳王元宝炬骑乘，元宝炬的脚刚跨入马鞍，那匹宝马却突然倒地而死，孝武帝心里陡然升起一种不祥之兆。阿至罗国即高车国，是在孝文帝时期从柔然中分裂出来的阿伏至罗和弟弟穷期在今新疆准噶尔盆地建立的政权，后在中亚嚈哒国的打击下，一部分部众归顺了北魏，被安置在高平镇一带，北魏宣武帝时期，阿至罗国王伊匐趁柔然内乱，击破柔然，占据了柔然王庭。数年后，在北魏扶持下，柔然阿那瓌又收复失地，永熙二年，在高欢执政时，阿至罗十万户请求归顺北魏。此时，孝武帝宴请阿至罗酋长显然是想利用他们，帮助自己对付宇文泰。
这场饮宴一直持续到夜晚。宴会结束后，孝武帝起驾回宫，行至皇宫后门时，孝武帝的坐骑突然受惊，不肯进门，鞭打后才勉强进宫。入宫后，孝武帝对潘弥说：“今日万幸，没有发生意外吧不？”潘弥回答：“只有经过半夜以后，才算大吉了。”不一会儿，孝武帝命人拿酒来喝，谁知，侍从送上的是毒酒，孝武帝喝下后当即就被毒死了，终年25岁。
孝武帝来到长安不足半年就被宇文泰毒死，这当然是出乎他的预料。宣武帝、孝明帝年间，民谣称：“狐非狐，貉非貉，焦梨狗子啮断索。”黑獭俗称焦梨狗子，指宇文泰；索，因拓跋鲜卑编发，故南方人称之为索虏，指北魏。