王，是太原祁人。其祖父王方翼，唐高宗时为安西都护，平定西域，为当时的名将。王在开元十年担任鄠县尉、京兆尹稻田判官；二十四年，升任监察御史；二十九年，累迁户部员外郎，常兼御史；天宝二年，充任京和市和籴使、户部郎中。天宝三载，长安令柳升因受贿被查处。因柳升系京兆尹韩朝宗所举荐，再加上韩朝宗在终南山下购买别墅，有人称其等天下大乱后借以避难，唐玄宗大怒，指令王审理此案，将韩朝宗贬为吴兴别驾，王因此又加官为长春宫使。
李适之和李林甫共事三年，二人就产生了矛盾。
李适之兼任兵部尚书，驸马张垍（唐玄宗第二十一女兴信公主【后封宁亲公主、齐国公主】前夫）担任兵部侍郎，都让李林甫非常厌恶。张洎，是前宰相张说的次子，他与哥哥张均都以文章闻名，李林甫嫉恨张洎原因大约有四：一是他是张说的儿子。张说引荐的张九龄，而李林甫是张九龄的政敌，立场不同；二是张洎有文才。李林甫毫无例外地嫉恨这些文人；三是张洎是驸马。张洎的妻子恰恰是太子李亨的同母妹妹，而太子李亨并非李林甫拥立，自然处于不同阵营；四是张洎深得唐玄宗的青睐。张洎兄弟均曾供奉于翰林院，张洎常常拿出唐玄宗赏赐给自己的财物让哥哥张均看，张均戏称：“这是岳父赏赐给女婿的，不是天子赏给学士的。”张洎兄弟很有才华，张洎又是唐玄宗十分看重的女婿，很有可能拜相，威胁到李林甫的地位，所以，李林甫就要拿兵部开刀。
李林甫命人调查兵部人事部门的舞弊案，将六十多名办事员都打入大狱，由京兆尹和御史会审。数日，毫无进展，京兆尹萧炅改命法曹吉温审理。吉温一进入大院，先让兵部的办事员们站在院外，而从后院提来两名重刑犯，严刑拷打，二人哀嚎不已，惨不忍闻，最后二人均说：“假如能饶我不死，请求拿来纸笔，我全部招认。”兵部的办事员们过去就听说过吉温残暴，今天又亲身体会，都是吓得面如土色，进入院内后，全部按照吉温的意思招供。一会儿功夫，案件就结了，朝廷派人前来查验是否存在刑讯逼供现象，这些人们的身上完好无损。
天宝四载六月二十五日，唐玄宗下诏斥责兵部前任和现任负责人事的侍郎以及尚书台负责兵部的官吏们，而后又将他们全部予以赦免。李林甫对李适之第一轮试探性攻击取得完胜。
吉温，是武曌时期的宰相吉顼侄子，阴险狡诈，擅长巴结奉迎。天宝初年，吉温曾任新丰丞，当时，太子文学薛嶷向唐玄宗举荐他，唐玄宗召见后，对薛嶷说：“此人不是个好人，我不用他。”萧炅担任河南尹期间，曾因事受到朝廷追究，御史台命吉温前去处理，吉温把萧炅得罪很苦，萧炅因与李林甫关系很好，才得以免罪。等到吉温当上万年丞后，萧炅当上了京兆尹，成了吉温的顶头上司，很多人都替吉温捏了一把汗。吉温过去就与高力士结好，高力士从宫中回家后，吉温料定萧炅肯定会拜访高力士，向高力士道谢，就提前来到高力士家中，与高力士相谈甚欢。果然，萧炅后至，吉温假装惶恐躲避，高力士说道：“吉七不用回避。”又对萧炅说：“这是我的老朋友。”喊回吉温与萧炅坐在一起。萧炅见吉温是高力士老朋友，就不敢把过去的恩怨放在心上了。数日后，吉温专门拜谒萧炅，说道：“过去，我不敢徇私枉法，从今往后，我将彻彻底底地侍奉大人您，您看如何？”萧炅遂尽弃前嫌，将吉温引为法曹。等到李林甫想要除掉异己分子时，寻找酷吏人选，萧炅就把吉温推荐给了李林甫，李林甫一见之下大喜。吉温常说：“如果我遇到知己，能获重用，南山白额猛虎我也能轻松搞定！”当时，还有一个叫罗希奭的杭州人，他的舅舅鸿胪少卿张博济是李林甫的女婿，有了这一层关系，他也受到李林甫的青睐，从御史台主簿被提拔为殿中侍御史。吉温和罗希奭二人就成了李林甫的忠实走狗，凡是李林甫想要拿下的人，二人均能拿下，无人能全身而退，当时的人们称他们为“罗钳吉网”。
李适之性格直率，平易近人，没有多少坏心眼，口碑很好，遇事不让李林甫，招致李林甫的嫉恨。李林甫暗中在唐玄宗面前进谗言，称李适之酗酒，耽误了工作，其实，李适之酒量很大，喝下一斗酒头也不晕。一次，李林甫对李适之说：“华山山下发现了一座金矿，开采起来可以令国家富强，只是陛下还不知道。”李适之觉得有道理，也没多想，遇着机会就对唐玄宗说了，唐玄宗听后大喜。随后，唐玄宗又问李林甫，李林甫却说：“臣很早就知道了，然而，华山，是陛下的本命山，王气所在，开挖华山恐怕不妥，所以，臣一直不敢上奏。”唐玄宗听后，立马觉得李林甫关爱自己，感到李适之虑事不周，斥责李适之道：“以后再提建议，要先和李林甫商量再说，别再轻脱了！”唐玄宗这话等于是把李适之置于李林甫之下了，从此以后，李适之就失宠了。韦坚春风得意是在天宝二年建成广运潭后，天宝三载一月，唐玄宗给他加官御史中丞，封韦城男，可是，好景不长，到了九月，唐玄宗就夺去了他身兼的各种使者，改任他为代理刑部尚书，而以杨慎矜取代了他的职务。因韦坚是李林甫舅舅的女婿，原本李林甫和韦坚关系很好，但当李林甫看到韦坚逐渐得宠后就疏远了他，而韦坚失宠后又开始靠拢李适之，二人同病相怜，关系迅速升温，这让李林甫更加嫉恨。
李林甫过去为了巴结武惠妃，曾有意拥立寿王李瑁为太子，然而，百密一疏，连李林甫这样绝顶聪明之人也没有揣摩透唐玄宗的心思，结果，唐玄宗以年长为由立了忠王李玙（如今已改名李亨），李亨当上太子，这一直是李林甫的一个心病，他担心将来太子登基后，自己会大祸临头，所以总想设法把李亨给弄下去，而韦坚又是太子妃的哥哥，因此，李林甫与韦坚之间的隔阂更深了。皇甫惟明出身于忠王府，原为忠王友，也是太子一党，皇甫惟明在青海击破吐蕃后，入京献捷，见李林甫专权跋扈，非常不满，等到他见到唐玄宗后，瞅个机会劝说唐玄宗疏远李林甫。李林甫在唐玄宗身边安插了很多眼线，很快就知道了皇甫惟明的话，遂命令御史中丞杨慎矜暗中监视皇甫惟明，搜集太子一党的黑材料。