再说李林甫与陈希烈、杨国忠的矛盾。

从天宝六载三月陈希烈被任命为左相兼兵部尚书以来，已过去五、六年了，开始时，李林甫与其一直合作得很好，逐渐的，二人也产生了矛盾，陈希烈时常与李林甫为敌。杨国忠也是如此。李林甫原本觉得杨国忠没什么才能，又是杨贵妃家的人，所以对他很好，而杨国忠对李林甫也很尊重，每次李林甫下台阶，杨国忠总是慌忙在一旁搀扶。杨国忠和王都是御史中丞，也都是李林甫的心腹，是李林甫用来打压太子李亨的爪牙，然而，王却是李林甫心腹中的心腹。李林甫提拔杨慎矜，原本就是为了对付李亨，杨慎矜又向李林甫推荐了王，然而，经过屡次试探之后，杨慎矜发现唐玄宗并无废黜太子之意，就深感害怕，与李林甫疏远起来了，韦坚案中，杨慎矜保持中立，这让李林甫十分恼火，次年，就指使王、杨国忠除掉了杨慎矜，同样的，杨国忠也为李林甫出过大力的，在韦坚案和杜有邻案中，杨国忠借两场大狱提高自己的威信，所以很是卖力，史称：“自是连岁大狱，追捕挤陷，诛夷者数百家，皆国忠发之。林甫方深阻保位，国忠凡所奏劾，涉疑似于太子者，林甫虽不明言以指导之，皆林甫所使，国忠乘而为邪，得以肆意。”

然而，诡诈的吉温却让李林甫对杨国忠产生了丝丝戒心。吉温原本就是个反复小人，虽然他也是李林甫的心腹，但又与杨国忠和高力士结为兄弟，见安禄山、杨国忠受到唐玄宗的宠爱，就主动巴结二人，分别给二人出主意，让二人取代李林甫。杨国忠用了他的计谋，不久就兼任了兵部侍郎。紧接着，杨国忠又向李林甫的心腹京兆尹萧炅、御史中丞宋浑开刀，将二人贬出了京师，连李林甫都无力相救。在这种情况下，当御史大夫一职出现空缺时，李林甫自然就推荐了王，而这又让杨国忠十分恼火，从此对李林甫怀恨在心。

到天宝十一载阿布思反叛后不久，王就出事了，杨国忠终于等到了一个复仇的机会。王受到李林甫的青睐后，又被任命为户口色役使，唐玄宗在位多年，宠幸的嫔妃越来越多，赏赐所需的财物也逐渐增加，可是他又顾及面子，不愿总是派人去左右藏去取，生怕影响不好，王看透了唐玄宗的心思，每年奉上百亿万财物送入皇宫内库，算作唐玄宗的私房钱，以备唐玄宗赏赐之用。王对唐玄宗说：“这些钱都是额外，不在正税之列。”唐玄宗觉得王有富国之术，是个人才，对他更加宠信。到天宝十一载，王担任户部侍郎兼御史大夫、京兆尹，另外还兼任检察内作事、闲厩使、苑内营田五坊宫苑使、陇右群牧都支度营田使、殿中监等二十余个官职，威权甚盛，就连李林甫也让他三分。

王的办公室距离家很近，可是，办公桌上的文件堆积如山，官吏们想求他批复一个字，要等很多天都批不下来；唐玄宗从宫中派来赏赐他的使者一个接一个，挤破了他家的大门。虽然王权势很大，但他对李林甫还是非常敬重的，李林甫内心对他很是嫉妒，但又不忍加害，可是，王的弟弟户部郎中王銲和儿子卫尉少卿王准就不同了，二人都是得志便猖狂的主。

《明皇杂录》记载，王准和李林甫的儿子将作监李岫都在宫中服务，可是王准却总是欺负李岫，李岫也一句都不敢回嘴；万年尉韦黄裳、长安尉贾季邻经常在办公室内准备数百串钱、好酒好菜，还藏匿些名妓，预备王准随时享用。一天，王准带着一群狐朋狗友去驸马都尉王繇家。王繇是唐中宗第三女定安公主与第一任丈夫王同皎所生的儿子，他又娶了唐玄宗的长女永穆公主，虽然自己的母亲和妻子都是公主，但王繇却十分老实本分，而他的妻子永穆公主深得唐玄宗的钟爱，也同样很是实在。王繇遥遥望见王准他们，就出门拜伏于地，谁知王准却举起弹弓，一弹正中王繇的帽子，将帽子上的玉簪射得粉碎，王繇吓得面如土色，王准他们却是哈哈大笑。王繇将他们迎入家中设宴款待，永穆公主亲自给王准割肉夹菜。王准等人离去后，有人看不过眼，对王繇说：“鼠辈虽然自恃他父亲的威势，可是，你竟然让公主伺候他吃饭，公主乃皇上钟爱的长女，你这样做岂不是太过分了吗？难道不怕皇上介意吗？”王繇回答：“皇上发脾气没什么可怕的，可是假如得罪了七郎（指王），立刻便有性命之忧，怎敢不巴结他！”

王准的叔叔王銲更是有过之而无不及。如果说王准是个无法无天之徒，那么王銲就是个野心家。他曾经找来术士任海川，问道：“我有没有王者之相？”任海川登时吓得魂不附体，躲了起来。王担心事情败露，立即命人前去抓捕，最终在冯翊郡将其抓获，找个借口将其打死了；王府司马韦会是定安公主与第二任丈夫韦濯所生之子，与驸马都尉王繇是同母异父兄弟，曾在家中与一位朋友闲谈中谈及此事，被家中侍女泄露给了外人，王知道后，又指使长安尉贾季邻将韦会打入大牢，趁夜将其勒死，次日清晨把尸首送回家。王繇眼睁睁的看着弟弟被杀，也不敢出面讲一句话。