眼见高纬下不了决心，祖珽指使丞相府佐封士让上密奏说：“斛律光以前西征回来时皇上下诏命令他将军队解散，斛律光却公然违抗圣旨，指挥军队进逼都城，准备做不轨的事，只不过没有成功罢了。斛律光家里还私藏弓弩、铠甲，他常常派使者去斛律羡、斛律武都的地方，秘密往来，不知道做的是什么见不得人的事。皇上如果不趁早谋划，恐怕将来的事情不可预测。”听完这些话胡高纬确定一定以及肯定斛律光真的要造反了，他对何洪珍说：“人心也太灵验，朕以前怀疑他要造反，没想到果真如此。”高纬死要面子，明明斛律光造反是没影的事却偏偏说自己早就怀疑他了。

高纬叫何洪珍赶紧把祖珽召来，他对祖珽说：“朕想召斛律光来，但怕他不肯听朕的命令。”祖珽说：“皇上可以派使者赐给斛律光一匹骏马，告诉他：‘明天我们将去东山游玩，将军可以骑这匹马和朕一同前往。’这样斛律光一定会来向陛下道谢，我们就可以趁此机会把他抓起来。”高纬就照祖珽所说的那样去做。

当晚斛律光果然进宫面谢皇上，当他走到凉风堂时御用杀手刘桃枝在他脑后打了一闷棍。斛律光果然不愧为名将，挨了这么一下居然没有跌倒，他回过头来，看见了刘桃枝，终于明白即将发生什么事。刘桃枝出没还能有什么好事，当然是有大臣要被杀死。

斛律光冷冷地对刘桃枝说：“刘桃枝，你经常干这种事吗？我斛律光从来没有辜负过国家。”刘桃枝看斛律光一击不倒，大为惊慌，以前还从没没碰到这种情况。他估计自己单打独斗未必是斛律光的对手，于是叫上另外三个力士一起用弓弦缠住斛律光的脖子，用力将斛律光勒死。斛律光的鲜血一直流到地上，一代名将令北周人闻风丧胆的大英雄就这样死去。

斛律光有着马一样的面孔，老虎一样强壮的身躯。他最初侍奉高澄，有一次跟随高澄到野外看见双雁飞来，高澄命他骑马射雁，斛律光一箭将两只大雁射落。后来斛律光又曾跟随高澄打猎，在云端看见飞来一只大鸟，只见斛律光弯弓射箭，正射中大鸟的脖颈。大鸟像车轮一样旋转着落下，原来是一只大雕。周围的人都感叹地说：“真是射雕的高手啊。”从此斛律光有了一个外号——“射雕都督”。斛律光最后不是死在战场上，而是死在充满阴谋和背叛的皇宫之中。

高纬下诏布告天下说斛律光意图谋反，并将他的儿子斛律世雄、斛律恒伽也一并杀死。祖珽派邢祖信对斛律光的家产登记造册，后来祖珽在尚书都省问起所查到的东西，邢祖信说：“启禀祖大人，共得到十五张弓，宴习时射的箭一百支，七把刀，朝廷赏赐的长矛两杆。”祖珽看只抄出这么点东西，厉声说道：“还得到什么东西？”邢祖信回答说：“还得到二十捆枣木棍，这是斛律光惩罚奴仆和别人打架斗殴时责打奴仆用的。”看到斛律光如此清廉，祖珽自己都觉得下不了台，便低声说：“朝廷已经对他处以重刑，郎中不宜为他洗雪！”邢祖信觉得斛律光一生清廉，自己不能诬陷好人，不然对不起自己的良心，便辞官离开了尚书都省。

有人责怪邢祖信过于坦率耿直，好好的一个二千石的官就这么没了，邢祖信感慨地说：“贤良的大将军尚且被杀，我又何必顾惜自己的余生。”

在乱世之中兼济天下虽然不太可能，但独善其身还是可以做到的。

接下来高纬派使者就地将斛律武都处死，又派中领军贺拔伏恩去捉拿斛律羡。

贺拔伏恩到达幽州后，守城门的士兵告诉斛律羡：“来的人都身穿铠甲，马身有汗，恐怕会对将军不利，我们应当关闭城门。”斛律羡说：“怎么能怀疑皇上派来的使者而把他们拒之城外呢！”斛律羡一片忠心，问心无愧，出城会见使者。这反而省了贺拔伏恩不少事，他将斛律羡抓住后就地处死。当初斛律羡时常为自己家权势太大而感到忧虑，曾经上表请求解除自己的职务，高纬不许。临刑时斛律羡叹息说：“我们家如此富贵，女儿是皇后，满家是公主，日常使用三百名士兵，怎能不败！”他的五个儿子也都被处死。斛律皇后也被废为平民，曾经风光无限的斛律家族就这样灰飞烟灭。

宇文邕听到斛律光死去的消息后高兴地睡不着觉，为此大赦全国表示热烈庆祝。不知道祖珽知道后会有什么感想，他可是帮了北周一个大忙。要想在战场上杀死斛律光是一件多么困难的事情，就算能成功也要付出巨大的代价，现在北周不费一兵一卒，只是编了一首儿歌就把斛律光杀了，宇文邕真应该给祖珽发一枚勋章。

从此以后祖珽的名声臭的不能再臭，臭到隋朝时有人把他的儿子祖君彦推荐给隋文帝杨坚，杨坚却说：“就是杀斛律光的那个人的儿子？这种人朕怎么能用呢。”一般人都是坑爹，祖珽却是坑儿，大千世界，无奇不有。

高元海之前被高湛贬为兖州刺史，不过高元海的妻子是陆令萱的外甥女，因为这层关系高元海又恢复了原来的职务。陆令萱果然不愧为女中豪杰，居然可以把被先帝贬在外地的外甥女婿又捧上宰相的位置。堂堂一个王爷居然要靠皇帝的奶妈才能上位，这也是形势比人强，不服不行啊。

高元海重回京城后和祖珽共同执掌北齐的朝政，他们曾经有一段打得火热的日子，高元海多次把陆令萱的秘密话告诉祖珽。后来祖珽想做领军，高元海也想做领军，这样一来高元海和祖珽反目成仇。高纬最终将领军给了祖珽，高元海不服，秘密向高纬说：“祖珽是汉人，又双目失明，怎么能做领军！”高元海又说祖珽和广宁王高孝珩有勾结，图谋不轨。一旦有了利益冲突就翻脸比翻书还快，这都是些什么人!

大臣结交亲王这是最忌讳的，所以高纬又收回成命，罢免了祖珽的领军一职。祖珽当然不会善罢甘休，他求见高纬为自己辨白，说：“臣和高元海素有仇怨，这一定是高元海在诽谤臣。”高纬脸皮薄，不好意思说谎，只得把实话告诉祖珽。祖珽说高元海和司农卿尹子华等人结成朋党，把持朝政、陷害忠良。祖珽又把高元海所泄露的秘密话全都告诉了陆令萱，陆令萱大怒，没想外甥女婿居然敢出卖自己。女相一出手，就知有没有。陆令萱捧得起高元海，就踩得扁他。结果高元海被贬为郑州刺史，尹子华等人都被罢官，高元海又干起了刺史的行当。

祖珽从此一人把持了朝廷的枢要机关，总辖执掌北齐的军务，他的内外亲戚都得到显要的官职。高纬常常叫太监搀扶祖珽出入宫中，他时常同祖珽一起在御榻上商量朝廷的政事，高纬交给祖珽的重要任务是别的臣子所无法比拟的。