高洋死前已经预料到自己死后，两个弟弟常山王高演和长广王高湛可能会威胁到儿子的皇位，但他并没有处死二王，这是因为，高演、高湛二人与被处死的高涣、高浚不同，他们与高洋是同父同母兄弟，高洋虽然无法无天，但对母亲娄昭君还是非常孝顺的，过去，高洋曾趁着酒劲狠狠教训了高演一顿，高演绝食，娄昭君也跟着绝食，弄得高洋不得不妥协，多次驾临高演府上赔礼道歉，如今，即使清楚地看出高演、高湛会对自己的儿子不利，但顾及到母亲的感受，高洋仍然不愿痛下杀手。在临死前，他几乎已经料定儿子的皇位不保，并坦然接受了这一事实，他对弟弟高演唯一的要求就是一旦高演夺位，只求留下高殷一命。在他看来，我没有杀你，并接受你夺位的现实，对你已经是莫大的恩惠了，对我的儿子你总该放一马吧？尽管如此，高洋还是希望夺位之事不要发生，他在遗诏中明确的四位辅政大臣中并没有二王，这就说明，他希望辅政大臣能齐心协力阻止二王的篡位行动。

高洋的眼光并不错，四位辅政大臣正是李太后一党的核心人物，他们分别是：尚书令杨愔（高洋姐夫）、领军大将军高归彦（高洋族叔）、侍中燕子献（高洋妹夫）、黄门侍郎郑颐。除了四位辅政大臣外，李太后一党还有新任领军大将军可朱浑天和（高洋妹夫）、侍中宋钦道等人。郑颐原为太原公东阁祭酒，是高洋的旧人，宋钦道是北魏吏部尚书宋弁的孙子，原为东宫教习，二人都是文学之士，又是高洋父子身边的人。

娄昭君与李氏之间的斗争还有更深一层的原因——胡汉之争。高欢集团从建立之初就一直存在着鲜卑与汉人的矛盾，高欢时期，高敖曹与刘贵之间的争斗就是一例，其间，高欢曾努力消除这种矛盾，但收效甚微。到高澄辅政后，逐渐重用汉人，排挤鲜卑勋贵，引起了鲜卑勋贵的普遍不满，高澄扑朔迷离的死可能就是这种矛盾累积的结果。高洋继位后，杜弼就说过：“鲜卑人是马上讨生活的，治国当用汉人。”而高隆之和高德政也曾说过：“汉妇不可为天下母，宜更择美配。”娄昭君还曾要求将外甥女段昭仪立为皇后，但却被高洋拒绝了，这也都说明了胡汉之间的隔阂根深蒂固，高洋虽然也曾多次在口头上表示鄙薄汉人的态度，并诛杀了杜弼，但他重用的杨愔、高德政、崔暹等人大多都是汉人。高洋死后，胡汉之争再次凸显出来。杨愔担心高演、高湛二王会对高殷不利，对二人非常猜忌，高演在晋阳宫东厢房主持了二十天的朝政后，杨愔就以高殷的名义下令让他回到了家中，从此以后，杨愔等辅政大臣们就控制了北齐朝政，朝廷很多诏命都不再通知二王了。开始的时候，高演似乎并没有非常强烈的夺权野心。高演回到王府后，有人劝他：“凶猛的大鸟离开自己的巢穴，就有被人拿去鸟卵的危险，大王岂能屡屡离开皇宫呢？”中山太守阳休之拜见高演，高演不见，阳休之对常山王友（王府官职之一）王晞说：“过去周公早上读一百篇书，晚上要接见七十名士人，即使这样还恐怕不够，大王竟然拒绝接见客人，有什么嫌疑可避的？”高洋在世时，群臣人人自危，高殷继位后，高演曾对王晞说：“如今皇上啥事也不管，我们也乐得清闲。”并说：“皇上宽厚仁爱，真是一位守业之主啊！”王晞却说：“先帝在时，经常让一个匈奴人康虎儿保护着，如今，皇上年纪尚轻，猛然之间要处理繁重的军国事务，殿下应该经常陪伴在皇上身边，亲自接受皇上的旨意，现在您却让外姓之人负责传达皇上的诏命，时间长了，大权必将落入一个人的手中，届时殿下想退居王府，享受清福，又怎么能办到呢？就是您能全身而退，但您自己想想您家的荣华富贵又能保持多久呢？”高演沉默了很久，说：“那我该怎么办呢？”王晞回答：“周公怀抱成王摄政七年，然后再把权力交还，请大王深思。”高演说：“我岂敢与周公相比！”王晞回答：“以殿下如今的地位，就是不想当周公，能行吗！”高演没再说话。

高殷继位后，先将高洋的灵柩送回邺城安葬，而后也准备从晋阳返回邺城。当时北齐群臣都认为应当留下常山王高演镇守晋阳，但杨愔等人担心高演在晋阳会兴风作浪，打算把长广王高湛留在晋阳，让高演随高殷一起回到邺城。乾明元年（公元560年）二月十七日，北齐任命常山王高演为太傅、录尚书事，任命长广王高湛为大司马、并州录尚书事，任命尚书左仆射高归彦为司空，任命赵郡王高叡为尚书左仆射。高叡是高欢的弟弟高琛的儿子，高琛因与高欢小妾小尔朱氏淫乱而被高欢打死；高琛死时，高叡年仅三岁，由高欢的另一位小妾、高湜之母游氏抚养，与高欢的其他亲生儿子无异。命令下来以后，杨愔又不放心把长广王留在晋阳，他暗中将五千禁卫军留在晋阳，以备不测。尽管如此，思来想去，杨愔还不担心会出现问题，最终还是决定命令高演、高湛两兄弟都随从皇上一起回京；又命令王晞为并州长史，等于是把高演的一个臂膀砍掉了。消息传出，北齐群臣无不惊愕。高演临行前，王晞一直送到晋阳郊外，高演担心有人会说闲话，让王晞回城，他紧紧握住王晞的双手，说道：“努力！珍重！”说完，飞身上马，绝尘而去。

按理说，四位辅政大臣都是李太后一党，但四位并非铁板一块，问题出在了首辅杨愔与次辅高归彦的身上。从杨愔中伤高德政一事上我们可以清楚地看出，杨愔此人猜忌心很强，见不得别人与自己争宠，更看不得别人与自己平起平坐。从高洋遗诏确定的这四位辅政大臣上看，首辅杨愔当然是核心中的核心，但偏重于文，次辅高归彦既是宗室，又掌管着禁卫军，是四位辅政大臣中唯一的武将，其他二人都是东宫旧人，是未来的宰相人选。虽然高归彦处于次辅的地位，但是在权力交接这一特殊时期，却有着别人不可替代的重要作用，这一点似乎已经引起了杨愔的警觉，他更愿意让一个死心塌地跟着自己的人来掌握禁卫军，因此，在对付二王的同时，他已经开始逐步削弱高归彦的权力了。高阳王高湜被娄太后打死后，高归彦被提拔为尚书左仆射，但不久，高归彦就又被晋升为司空，仍然“总知禁卫”，表面上看，高归彦已位居三公，并仍然是禁卫军的最高长官，但是，杨愔却在他的下面又安排了一个领军大将军可朱浑天和，实际上是屋下架屋，目的是架空高归彦。杨愔决定在晋阳留下五千禁卫军一事，并没有告诉高归彦，等到了邺城以后，高归彦才知道此事，顿时心生不快，开始与杨愔离心离德了。

可朱浑天和是鲜卑勋贵可朱浑道元的弟弟，（《资治通鉴》记作儿子，错误）娶了高欢的女儿东平公主。与高归彦相比，可朱浑道元是李太后的死党，他经常说：“如果不诛杀二王，幼主就没有平安的道理。”燕子献也建议先将太皇太后迁往北宫，这样一来，朝廷大权才能掌握在李太后之手。侍中宋钦道也建议高殷说：“两位叔叔位高权重，还请从速将他们打发得越远越好。”高殷没有同意，说道：“还是与杨愔认真研究研究再说吧。”与可朱浑天和相比，杨愔等人的打算要温柔许多，不过是想把二王调离京师，安排到地方上担任刺史，但即便如此，他们也知道高殷性格宽和仁慈，担心会不同意，遂找到李太后，详细说明原委，希望能得到李太后的支持。宫中女官李昌仪是高仲密的妻子，十七年前，高澄**了李昌仪，逼反了高仲密，东西魏之间引发了邙山之战，此后，李昌仪就落入宫中。李太后因李昌仪与自己是同姓，对她非常亲昵，竟将杨愔等人的报告交给李昌仪看，谁知，李昌仪秘密透露给了太皇太后娄昭君。

娄昭君已经完全掌握了杨愔等人的计划，她暗中与高演等人联络，决定发动政变，而杨愔等人却还蒙在鼓里，他们又商定不可让高演、高湛一齐到地方上任职，遂上奏请求任命长广王高湛镇守晋阳，以常山王高演为太师、司州牧、录尚书事。与此同时，在娄昭君的指挥下，高演等人也加紧了策划，高演与高湛二人谎称出外打猎，商定下发动政变的具体步骤，高演还承诺自己当上皇帝后，将立高湛为皇太弟。从天保八年以来，北齐的赏赐、封爵太滥，杨愔为了整顿吏治，从自身做起，上书请求辞去自己的开府仪同三司和开封王，其余受到滥赏的人员也一并免职。虽然杨愔的出发点是好的，但时机却掌握得不好，很多被降职的人都是牢骚满腹，也都被二王拉拢了过去，更严重的是，在禁卫军中有着巨大影响力的平秦王高归彦也转投到了二王的门下，杨愔、燕子献与高归彦商量，高归彦假装很高兴，还请求将高元海（高欢堂孙）叫来一起商议，高元海也是假装赞同，回头就将杨愔等人的密谋都告诉给了二王。娄昭君在鲜卑勋贵那里有着巨大的威望，高欢时期的鲜卑大将及其子嗣都对她忠心耿耿，这些人投靠到二王的怀抱，除了杨愔等人措置失当之外，娄昭君应当是起到了关键性的作用。