在最大限度地扩大元载权力的同时，唐代宗又在悄无声息地缩小鱼朝恩的权力。至迟在大历元年出现了一个叫做枢密的官，这个官是负责向门下首长传达皇帝旨意的，是唐代宗与元载之间联系的纽带，是宋代以后枢密使的前身，位置非常重要。唐代宗让一个叫董秀的宦官担任，据《旧唐书�9�8陈少游传》记载，原陈郑二州刺史陈少游，善于敛财，结交权贵，因此一路高升，后被选任为桂管观察使。陈少游觉得这地方过于偏远，不愿赴任，想通过关系选个稍微近的地方，他就把眼睛盯住了董秀。他提前在董秀所住的“里”里住下，等傍晚偷偷前去拜谒，问董秀：“七郎你家几口人？每月要花费多少？”董秀回答：“担任近臣，家庭负担很重，再加上物价上涨，每月要花掉一千多贯钱。”陆少游说：“这样算下来，你的工资几天就花光了，下余的经常需要向其他人借，如果现在有人尽心帮助的，您只需提携人家一下，只是举手之劳。我陈少游不才，情愿我自己包下七郎一家的用度，每年奉上五万贯。这里我带了三万，敬请笑纳，下余的等我到任之后再送上，以解贵人燃眉之急，你看如何？”董秀一听，喜出望外。陈少游说完又流下泪来，说道：“南方瘴疠之地，只恐我不能活着回来再见到您了啊！”董秀立马明白了，赶忙说道：“你暂且停留数日，我再从中斡旋。”当时，陈少游也已经给元载的儿子元仲武送钱了，元载和董秀二人一唱一和，数日，唐代宗就改任陈少游为宣州刺史、宣歙池都团练观察使了。提拔董秀只是唐代宗削弱鱼朝恩势力的举措之一，第二个举措就是在大历二年除掉周智光之后，换掉了鱼朝恩的另外一个亲信、京兆尹黎干。黎干也是位能臣，但是对鱼朝恩却极尽巴结之能事，“写心候事，动必求媚，每朝恩入监，倾府人吏具数百人之饩以待之。”（《李勉传》），史称：“黎干者，戎州人。始以善星纬数术进，待诏翰林，累官至谏议大夫。寻迁京兆尹，以严肃为理，人颇便之，而因缘附会，与时上下。大历二年，改刑部侍郎。”《王缙传》则称，（黎干）数论事，载甚病之，而力不能去也。干尝白事于缙，缙曰：“尹，南方君子也，安知朝礼！”其慢而侮人，率如此类。代宗换下黎干后，就任命入朝述职的江西观察使、宗室李勉担任京兆尹。李勉担任京兆尹后，就与鱼朝恩发生了直接冲突，以往鱼朝恩来国子监之前，黎干总要准备数百人的食物招待，可是李勉却说：“军容使兼管国子监，我去太学，军容使应该尽主人之礼招待我，假如军容使到我京兆尹做客，我怎敢不招待呢？”当然，代宗让李勉当京兆尹只是要换下鱼朝恩的人，决不是与鱼朝恩发生正面冲突，因此，到大历三年，又把李勉换下，改任了崔昭。
唐代宗这些举措都是在清除周智光前后，鱼朝恩似乎有所警觉，遂于大历二年七月主动把自己的庄园拿出来给代宗亡母祈福，但紧接着到了该年年底就发生了郭子仪父亲坟墓被人挖掉的大事，但此事因郭子仪在鱼朝恩和元载、唐代宗之间保持中立而没有激化。
四百一十四、大历初年（4）
大历三年，唐代宗又打算重用李泌了。
唐代宗即位后，就派人前往衡山，把隐居的李泌召回，任命为翰林学士。命人在蓬莱殿旁修了一座书院，让李泌居住，代宗时常身穿便服，脚蹬拖鞋前去探望，凡是给事中、中书舍人以上以及各地节度使、刺史的任免等军国大事，都与李泌商议定夺。唐代宗又让鱼朝恩在白花屯给李泌修了一座外宅，方便李泌与外面的亲朋故交联系。
此时，外廷宰相是元载和杜鸿渐，已被元载牢牢把持，也许代宗也想掣肘一下元载，遂打算让李泌出山，担任门下侍郎、同平章事。但是，朝局纷繁复杂，宛如一团乱麻，李泌坚决推辞。唐代宗想想，也觉得有理，就说道：“外廷事务繁重，你我不能朝夕相见，真不如现在我们住得这么近好，何必非要正式任命才算是宰相呢！”五月初五端午节，王公大臣，公主嫔妃都向代宗进献礼物，代宗问李泌：“先生为何什么都没进献？”李泌回答：“臣住在皇宫之内，从头巾到鞋袜都是陛下所赐，就剩下这个身子了，怎么进献？”代宗说道：“朕就是要你这身子呢。”李泌说：“臣的身子不属于陛下所有，还能属于谁所有呢？”代宗趁机说道：“先帝曾想委屈爱卿当宰相，爱卿不答应，爱卿既然今天献上了身子，那么就该任凭朕的指使，不再属于爱卿所有了。”李泌问：“陛下打算让臣干什么？”代宗回答：“朕要命爱卿开始吃肉喝酒，娶妻生子，接受官爵，当个俗人。”李泌哭泣道：“臣已经吃素二十年了，陛下何苦要让臣前功尽弃！”代宗回答：“你光哭又有什么用？你住在深宫大内，又能怎么样呢？”遂命人安葬了李泌的双亲，给李泌娶了卢氏之女为妻，在光福坊赏赐给他一座宅院，命他隔三差五地住在蓬莱院，或住在家中。
唐代宗打算任命李泌当宰相，可以看做是在外廷掺沙子，说明其觉察到了元载集团已经坐大，不过，此时鱼朝恩还未清除，代宗还需要继续依靠元载，所以，在李泌的劝说下，代宗才打消了原意，暂时不再惊动元载。
转眼到了大历四年（公元769年）一月，郭子仪入朝。上年年底，在唐代宗和元载的操纵下，定下了移镇之议。马璘在接到命令之后，已率先做出表率，先期赶赴泾川安排，郭子仪虽然心中不快，但开疆拓土这一冠冕堂皇的理由面前又说不出什么来，再加上朝廷已经做出种种承诺、马璘又已积极赴任，郭子仪更是不得不行动。
正是看出了郭子仪的心思，当郭子仪入京之后，鱼朝恩主动邀请他一起出城到章敬寺见面游玩。长期以来，朔方军一直是唐肃宗、唐代宗父子平叛的主导力量，像如今京畿附近的节度使马璘、李抱玉、郭子仪等人都是朔方一系，又由于朔方军地理位置的原因，其高层将领又与回纥高层有着千丝万缕的关系，这也是肃宗、代宗对朔方军一直心存芥蒂的原因，而由宦官鱼朝恩统领的神策军往往被视为是一支与朔方军相互制衡的力量，昔日，鱼朝恩等人就与郭子仪有着隔阂，当代宗命令郭子仪清除周智光之后，周智光原有部属李汉惠既非到京师回归神策军，也非归顺朝廷，而是找到了新主子郭子仪，显然在当时的人们心目中，朔方军和神策军是两个对立的军事集团，此事之后，鱼朝恩与郭子仪之间的隔阂自然会加深而不是相反。但此后，代宗和元载打出了一系列的迷踪拳，让人如坠云雾之中，郭子仪父亲坟墓被挖，代宗、元载欲嫁祸鱼朝恩不成，让鱼朝恩不得不对郭子仪的度量感到佩服，如今，元载又要将郭子仪移镇邠州，这让鱼朝恩似乎看出了一点机会，打算探探郭子仪的底线，也许会有联合起来共同对付元载的可能。
鱼朝恩邀请与郭子仪在城外单独见面，并且这件事就发生在刚刚决定移镇、各军将士一片怨言、郭子仪尚未从河中迁往邠州这一敏感时期，不能不让唐代宗和元载非常紧张。元载担心二人真的联手，就暗中指使郭子仪军中的将校“善意”地提醒郭子仪道：“鱼朝恩将要对大人不利！”郭子仪不听。这位将校又告诉郭子仪手下的其他将领们，大家都请求郭子仪带上三百名内穿铠甲的卫士同行。郭子仪说：“我是国家的大臣，他如果没有皇上的命令，又岂敢加害于我！假如他是奉命行事，你们又想干什么！”郭子仪很清楚，在这时，唐代宗和鱼朝恩都没有杀掉自己的理由和条件，如今害怕的不该是他郭子仪，而是唐代宗、鱼朝恩和元载他们。于是，他仅仅带了几个家僮就动身了。鱼朝恩出来迎接，见郭子仪身边只带了这几个人，不禁大吃一惊。郭子仪就把临行前听到的话告诉给了鱼朝恩，又加了一句：“也是恐怕大人您动手时麻烦啊。”鱼朝恩闻言，顿时非常感动，他捶着胸脯，紧握郭子仪的双手，流下眼泪，说道：“要是大人您不是一位忠厚长者，听了这样的谗言，岂能不生疑心啊！”
郭子仪和鱼朝恩之间的密谈详情已不得而知，但很显然，郭子仪并没有站在鱼朝恩一方，与鱼朝恩见面十天后，他就返回到了河中，拖到同年六月，他才率领河中之军移镇邠州。郭子仪把精兵全部带在自己身边，将剩余之兵分别留镇河中、灵武两个基地。河中将士也都不愿迁往邠州，经常从邠州逃回河中，行军司马严郢在河中留守，将逃兵全部逮捕斩杀，这才稳定了局面。严郢，字叔敖，华州人。其父严正诲，官至江南西道采访使。严郢进士及第，任太常协律郎，负责管理东都太庙，安史之乱中，严郢携带太庙神主藏在家中，唐军收复东都后，严郢因此功而被晋升为大理司直，代宗初年，被晋升为监察御史，郭子仪担任关内、河东副元帅时，举荐严郢担任副元帅府判官，后晋升为行军司马。