此时，唐肃宗在外重用鱼朝恩，在内重用太子詹事李辅国。李辅国自从唐肃宗在灵武时，就担任“判元帅行军司马”一职，类似总参谋长。那时，唐肃宗就把军国事务全权交付给他处理，李辅国经常侍从在唐肃宗身边，负责传达诏命；各地的文书奏表都经李辅国之手，皇帝印章、兵符也都由其掌握，甚至是军中的早晚的口令也由其负责。等到唐肃宗回到长安以后，唐肃宗更是把自己的生命安全都交给了李辅国，由其统领禁卫军；李辅国经常住在宫中，皇帝的诏命必须经过他的签字才能发布执行，而包括宰相在内的朝廷重臣要在下班时间向皇帝报告紧急事务，也都得通过李辅国传话。李辅国经常在大明宫的银台门处理国务，出门经常有数百名全副武装的武士护卫；事无大小，李辅国往往代替皇帝提出处理意见，交付外臣施行，然后才向唐肃宗汇报。李辅国还安排了数十名密探，到民间探听一些隐私，一旦发现隐情，当即命令有关部门追查，对于李辅国的各类要求，朝廷各部门都不敢拒绝。一些羁押在御史台或者大理寺的要犯，有的还没有审理完毕，李辅国命人押解到银台门，全部释放；御史台、大理寺和刑部以及地方上的案件，也都要先向李辅国禀报，根据他的意见定案，而他却总是说这是皇帝的意思，朝廷官员们也都无人敢提异议了。宦官们都不敢称呼他的官衔，因其排行老五，都称其为五郎。中书侍郎李揆出身山东高门，见到李辅国也恭敬地行子弟之礼，称呼其为五爹。
李辅国的专权也引起了一些朝廷大臣的不满。乾元二年（公元759年）三月，也就是邺城惨败后不久，唐肃宗对朝廷军政重臣进行了一次改组：二十八日，他任命兵部侍郎吕同平章事，次日，又任命中书侍郎、同平章事苗晋卿为太子太傅，王玙为刑部尚书，将二人都罢免了宰相。以京兆尹李岘行吏部尚书，中书舍人兼礼部侍郎李揆为中书侍郎与户部侍郎第五琦均为同平章事。军事方面：三月三十日，唐肃宗以郭子仪为东畿、山东、河东各道元帅，暂时代理东京留守；以河西节度使来瑱行陕州刺史，充陕、虢、华州节度使。四月八日，设置陈、郑、亳州节度使，以邓州节度使鲁炅充任；以徐州节度使尚衡为青、密等七州节度使；以兴平军节度使李奂兼任豫、许、汝三州节度使。因邺城败退后，鲁炅所部溃兵劫掠最严重，鲁炅担心受到朝廷追究，不久就喝药自杀了，十二日，唐肃宗又任鸿胪卿李抱玉接任。李抱玉系安兴贵之后，为李光弼部将，屡立战功，因耻于姓安，被唐肃宗赐姓李。到了五月，又以滑、濮节度使许叔冀为汴州刺史，充滑、汴等七州节度使；以试汝州刺史刘展为滑州刺史，充副使。
李揆是当年的亲王府学士李玄道的玄孙，史称，其长相俊美，口齿伶俐，在唐肃宗面前能投其所好，一次，唐肃宗赞赏他说：“爱卿门第、相貌、文章都是当代数一数二的。”故民间称其有此三绝。唐肃宗对李岘十分看重，而李岘也以天下为己任，勇于承担责任。等到他当上宰相后，就在唐肃宗跪下叩头，指出皇帝的诏书均应由中书省颁布，并揭露李辅国专权乱政的种种不法行为，唐肃宗听后也有所触动，对于李辅国创设的很多制度都予以变更，还撤销了他组织的密探机构。当时，长安城内社会治安十分不好，李辅国请求挑选五百名羽林骑兵加强京城巡逻。李揆上书认为：“过去，西汉南军和北军并立，以相互制约，所以，周勃才得以用南军而入北军，从而安定了刘氏江山。我朝设置南衙、北衙，文武区分，以相互监督。如今，以羽林军来取代金吾军负责社会治安，一旦出现意外，将如何控制？”唐肃宗这才作罢。
李辅国也觉得自己处境不妙，就主动提出辞去行军司马，只担任太子詹事，唐肃宗没有答应。四月六日，唐肃宗下诏称：“近来，军国事务繁多，有时候口头宣布诏命。从今以后，各类征收以及案件审理一律停止，如果不是正式诏书，均不得执行。朝廷各类事务均归各部门处理。英武军虞侯、六军各军使、各司等，近期常因事争竞，擅自行事，从今以后，一切事务均应经过中央和地方政府处理。如果他们的处理不公，可以向我禀报。除了十恶、杀人、奸情、偷盗、造假以外的法令，其他繁琐的条文一律删除，由中书省、门下省会同法官们详细研究后上报定夺。”
李岘与李辅国的矛盾逐渐激化，李辅国一直寻找一个反击的机会，这个机会很快就不期而至了。凤翔马坊押官也参与抢劫，天兴县尉谢夷甫将其逮捕杀掉，这名押官的妻子就来朝廷鸣冤上告。李辅国出身飞龙厩，大约与这名押官有些关系，就以皇帝之名命令监察御史孙蓥审理此案，经过审讯，押官犯罪证据确凿，并没有什么冤情。李辅国见达不到目的，就又让御史中丞崔伯阳、刑部侍郎李晔、大理卿权献进行所谓的小三司会审，会审结果与孙蓥的相同，但押官的妻子仍然不服。李辅国就又让侍御史毛若虚复审，这位毛若虚是个见风使舵的人，就按照李辅国的意思，把罪过推到了谢夷甫的身上。御史中丞崔伯阳得知后，勃然大怒，就把毛若虚召来，厉声斥责他一番，还要上书弹劾他。毛若虚恶人先告状，抢先一步逃到唐肃宗跟前，唐肃宗听说崔伯阳要来，就把他藏匿在帘幕后面。不一会儿，崔伯阳果然来了，称毛若虚依附宦官，判案不公。此时，唐肃宗已经偏听偏信，突然发怒，将崔伯阳赶出了宫门，四月，唐肃宗下令将崔伯阳贬为高要县尉，权献贬为桂阳县尉，李业和凤翔尹严向均贬为岭南县尉，将孙蓥除名，流放到播州。
吏部尚书同平章事李岘上书称崔伯阳等人无罪，处罚太重，而唐肃宗却认为李岘与崔伯阳等人结为朋党，五月十六日，将李岘贬为蜀州刺史。右散骑常侍韩择木晋见唐肃宗，提及此事，唐肃宗还耿耿于怀地说道：“李岘企图专权，如今将其贬至蜀州，朕尚且觉得便宜了他！”韩择木回答：“李岘不是专权，而是说话太直了，陛下对他予以宽恕，只能增加陛下的圣德啊！”不久，毛若虚就被晋升为御史中丞。
显然，在朝廷大臣与宦官的这场较量中，唐肃宗最终站到了宦官一边。