李林甫推荐萧炅为户部侍郎。萧炅素来没有学识，曾当着中书侍郎严挺之的面把伏腊读成了伏猎，严挺之对张九龄说：“朝廷上岂能有伏猎侍郎！”《青棠集》称：张九龄知道萧炅没有学识，一天，他故意送给萧炅一些芋头，信上却写着送的“蹲鸱”。萧炅果然回信道：“接到了你送来的芋头，只是没见所送的蹲鸱。然而，我家总是出现些怪事，我也不愿见到这种恶鸟。”张九龄拿出萧炅的回信让客人们看，大家是哄堂大笑。原来，蹲鸱就是大芋头的别称。后来，张九龄在严挺之的建议下将萧炅贬为岐州刺史，所以李林甫对严挺之是怀恨在心，而张九龄却与严挺之私交甚深，打算举荐其为宰相。张九龄曾经劝严挺之说：“李尚书正蒙陛下青睐，足下应该去他家走动走动，联络一下感情。”可是严挺之却从来不把李林甫放在眼里，始终没有上门拜望，这让李林甫更是怨恨。严挺之的前妻嫁给了蔚州刺史王元琰，王元琰因贪污下狱，严挺之曾为其斡旋免罪，李林甫命人将此事禀报给了唐玄宗。唐玄宗知道后，对张九龄说：“王元琰贪污属实，严挺之上下打点，为其解脱。”张九龄为严挺之辩护：“其妻是严挺之的前妻，严挺之又娶妻崔氏，不该有什么私情。”唐玄宗说：“你是不知道，虽然他们已经离婚，但还是有私情的。”
严挺之一事，让唐玄宗觉得张九龄等人阿党营私，决心将其拿下。开元二十四年十一月，唐玄宗下令免去裴耀卿、张九龄的宰相职务，以裴耀卿为左丞相，张九龄为右丞相；以李林甫为兼中书令，牛仙客为工部尚书、同中书门下三品，领朔方节度使；贬严挺之为洺州刺史，将王元琰流放到岭南。据《唐诗纪事》记载，时值秋天，唐玄宗命人给张九龄送去一面白羽扇，隐晦地表达了令其退隐的意思。张九龄惶恐不安，写了一篇赋送给了唐玄宗，又给李林甫送去了一首《归燕诗》，诗称：“海燕虽微渺，乘春亦暂来。岂知泥滓贱，只见玉堂开。绣户时双入，华堂日几回。无心与物竞，鹰隼莫相猜。”李林甫见到后，知道张九龄一定会引退，怒气稍稍缓解。等到李林甫得知唐玄宗仍然保留裴耀卿、张九龄左右丞相一职后，不禁大怒，说道：“他们仍当左右丞相吗？！”
李林甫当上宰相后，为了蒙蔽唐玄宗，独揽大权，将谏官们召集到一起，对大家说：“如今明主在上，群臣顺从还来不及呢，何须多言！诸位没见仪仗队的战马吗？吃三品官的马料，突然一鸣叫，就被斥去，后悔也来不及了！”
由于牛仙客是李林甫一手提拔的，所以，等到牛仙客当上宰相后，对李林甫是唯唯诺诺。在人事任免方面，二人都谨守法令，全然按照规矩办事，即便是特别有才干的人也受到资历的限制，不免老死在下僚，而那些精于谄媚的人却仍然能通过其他途径被破格提拔。史称：他“自处台衡，动循格令，衣冠士子，非常调无仕进之门……每事过慎，条理众务，增修纲纪，中外迁处，皆有恒度”。《大唐传载》称，宁王给李林甫交代了十个人让其关照，李林甫问：“十人之中，可不可以淘汰一个？”宁王回答：“九个人都不能动，只有某某随你处置。”等到放榜，九个人都被破格提拔，选任清要之官，只有某某被淘汰，称：“根据你的文章，自应当官，但由于宁王叮嘱，暂且等到冬天再说。”《封氏闻见记》称：一个叫王如泚的进士，岳父因技艺供奉在唐玄宗左右，请求唐玄宗给王如泚进士及第，唐玄宗答应了。礼部侍郎李暐奉命来见李林甫，李林甫问：“王如泚文章能及第吗？”李暐回答：“在两可之间。”李林甫说：“要是如此，就不能给。明经进士，是国家选拔人才之地，如果圣恩优异，自可直接授予官职；如今给他进士及第，将如何取材？”李林甫顶住压力，遂亲自向唐玄宗汇报，听候旨意。当时，王如泚家已是高朋满座，只等圣旨下来，很快的，中书省给礼部下来诏书称：“王如泚可按照惯例参加考试。”众人听后，无不面面相觑。
据《逸史》记载，李林甫是天上下凡的“谪仙人”，年二十岁还没读过书，整日里就知道游玩打猎，骑驴踢球。一天，他玩累了，枕着头在地上歇息，走来一个相貌十分丑陋的道士，对他说：“这有什么好玩的？你竟然如此喜爱？”李林甫回答：“关你屁事！”道士离开了。第二天，道士又这样对李林甫说，李林甫虽说贪玩，但却非常聪明，感觉道士不是常人，就起身拜谢。道士说：“三日后五更天与你在此相会。”届时，道士却先到了，道士又说：“再过三日再来。”李林甫半夜三更就去了，过了很久，道士才来，见了李林甫，很是高兴，就对他说：“我在人间已经走动了五百年了，五百年间只见到郎君一人。你已经名列仙班，可白日升天，如果你不愿意的话，则能当二十年宰相，大权在握。你先回去考虑考虑，等三日后再来答复我。”李林甫回家后决定当二十年宰相，等三日后见到道士说出自己的决定后，道士连连叹息，说道：“五百年间才见你一人，可惜！可惜！”李林甫听后又后悔了，但道士说：“已经不能再变了。”并告诫李林甫：“二十年宰相，威震天下，但千万不能干一些损阴德的事，要多做好事，三百年后还能白日升天。”后来，安禄山对身边的术士说：“我见到天子也没什么害怕的，只是一见到李林甫，就浑身不自在，这是何故？”术士说：“大人您身边有五百神兵暗中保护，都是铜头铁额，怎么可能这样呢？”安禄山就请李林甫到自己家中赴宴，让术士躲在帘后偷窥。罢宴后，术士啧啧称奇道：“我看李相公来之前，有一青衣童子手捧香炉先入，大人身边那些铜头铁额的神兵全都吓得破墙而逃，我也说不出缘故，可能是下凡的仙人吧。”《谭宾录》称，李林甫在相位十九年，排除异己，太子以下无不对其侧目而视。开元初年，姚崇、宋璟身为老臣，时常给唐玄宗尽忠言，后来，天下太平，唐玄宗也逐渐懈怠起来了。张九龄资历较浅，又是唐玄宗一手提拔的，唐玄宗内心对他并不看重，可张九龄却经常犯言直谏，最终惹恼了唐玄宗，被罢相。唐玄宗雄才大略，任人不疑，等到李林甫为相后，从未说些逆耳之言，唐玄宗对他很是宠信，遂高枕深宫，群臣难得一见，大事小事都让李林甫全权处理。李林甫虽然没有多少文采，但却熟悉政务，谨守法度，杜绝了非正常渠道的人事任免，其内心阴险残忍，喜怒不形于色。