顺利完成移镇任务之后，唐代宗和元载就开始部署清除鱼朝恩了。几年来，代宗辗转腾挪，就连鱼朝恩也猜不透代宗的心思，他还是依然故我，不知收敛，每次给代宗提什么要求，一定要代宗答应才罢手；朝廷大事如果没有与他商量，事后等他知道后，总会发怒道：“天下事哪有不经过我的道理！”鱼朝恩还喜欢在大庭广众之下高谈阔论，凌辱宰相，虽然元载口齿伶俐，在气焰嚣张的鱼朝恩面前也不得不三缄其口。神策军的两位高层将领都虞候刘希暹、都知兵马使王驾鹤都是鱼朝恩的亲信，深得鱼朝恩的宠信。刘希暹建议鱼朝恩在北军中设立军事法庭，纠集地痞无赖诬告长安城内的富人，把这些富人打入大牢，抄没家财充军；有些应试举子来到长安，身上带的钱财稍稍多一些，就会被这些人瞄上，往往在宾馆里被人杀死，劫去钱财，长安百姓称之为“入地牢”。一个名叫贾明观的捕贼吏依附刘希暹，更是凶狠，屡兴大狱，积累了万贯家财，弄得民怨沸腾。
鱼朝恩的养子鱼令徽年龄很小，已当上了内给使，身穿六七品绿色官服，一次，鱼令徽与同僚争吵，回家向养父哭诉。第二天，鱼朝恩见到唐代宗说：“臣的儿子官位太低，被同僚欺负，请皇上让他穿上三品大员的紫色官服。”还没等代宗张嘴，身边的侍从已经拿出紫色官服站在代宗跟前了。代宗非常尴尬，但也不好再说什么，就让鱼令徽穿上，鱼令徽拜谢后，代宗勉强笑了笑，说道：“儿穿紫，真合适。”但内心则非常恼火。
元载看出了代宗的心思，于是建议除掉鱼朝恩，代宗遂指令元载制定详细的计划。元载的计划分四步：第一步，以重金拉拢鱼朝恩的亲信，培植内鬼。鱼朝恩每次入宫，经常以射生将周皓率领一百人担任警卫，元载利用关系将周皓拉了过来；鱼朝恩又以陕州节度使皇甫温作为自己的外援，元载则以自己的亲信崔昭继李勉之后担任京兆尹，崔昭一方面组织人力，秘密监视鱼朝恩的动向，另一方面不惜重金，结好皇甫温。史称，在鱼朝恩被杀后，“元载复受明观奸谋，潜容之”，也说明贾明观恐怕也被元载拉拢了，自此，鱼朝恩的一举一动、一言一行都在代宗和元载的监视之下。第二步，进一步麻痹鱼朝恩。元载建议将李抱玉从凤翔迁往汉中，而以皇甫温担任凤翔节度使，表面上看是加强了神策军的权力，但殊不知此时皇甫温已经暗中倒戈。这次移镇也有冠冕堂皇的理由，不宜令人生疑：皇甫温部调往凤翔，与郭子仪从河中调往邠州同理，都是从无用之地调到前线，而李抱玉从凤翔调往汉中也有合适的理由，这就是：在大历二年唐代宗承认崔旰之后，次年被正式任命为剑南西川节度使的崔旰入朝谢恩，留下弟弟崔宽担任留后，结果，泸州刺史杨子琳却趁机率领数千精锐骑兵偷袭了成都，益州变乱再起。朝廷听说后，遂加授崔旰为检校工部尚书，赐名崔宁，命其返回。崔宽在与杨子琳的交手中屡战屡败，七月，崔宁的妾任氏拿出数十万家财招募了数千人，才把杨子琳赶跑。杨子琳败归泸州后，又召集残部，得数千人，沿长江东下，声称将要入朝；涪州守捉使王守仙在奉节附近的黄草峡埋下伏兵，但却被杨子琳全部生擒，杨子琳又进攻忠州，王守仙仅仅逃出一命；杨子琳又杀掉了夔州別驾张忠，占据夔州。荆南节度使韦伯玉不敢得罪杨子琳，遂替杨子琳向朝廷求情，唐代宗为了息事宁人，大历四年二月，就任命杨子琳为峡州团练使。在正统观念看来，像崔宁和杨子琳都属于朝廷不得已任命的官员，他们并不可靠，以位高权重且一向忠勇的李抱玉主持剑南事务，也在情理之中。但是，要想让李抱玉顺顺当当地迁往已经驻守多年的凤翔也需要出大价钱：代宗晋升李抱玉为同中书门下平章事，又兼山南西道节度使、河西陇右山南西道副元帅、判梁州事。而且，代宗原计划是让李抱玉南下汉中，但李抱玉却只是从凤翔移镇到了盩厔，并且，士兵们在临行之时，大肆劫掠凤翔集市泄愤。
四百一十五、大历初年（5）
李抱玉腾出了凤翔，唐代宗和元载就可以顺利地实施他们的第二步计划了。
首先是把鱼朝恩的亲信从陕州移镇凤翔，其次，元载又建议把郿县（今陕西省眉县）、虢县（今陕西省宝鸡市陈仓区）、宝鸡（今陕西省宝鸡市）、鄠县（今陕西省户县）、盩厔（今陕西省周至县）划归李抱玉，而把兴平（今陕西省兴平县）、武功（今陕西省武功县）、天兴（今陕西省凤翔县）、扶风（今陕西省扶风县）三地划归神策军。去年，在鱼朝恩的请求下，代宗就曾将京兆尹的好畤（今陕西省永寿县西）、凤翔的麟游（今陕西省麟游县）、普润（今陕西省凤翔县西北）划给了神策军，如今又给了神策军这些地盘，鱼朝恩大喜，另外元载还建议给鱼朝恩加实封，鱼朝恩更不把元载放在眼里。
代宗和元载对付鱼朝恩的第三步就是打压鱼朝恩的死党。到大历五年二月，代宗和元载随便找了刘希暹的一个过错，代宗暗示鱼朝恩要给予其一个薄惩，遂下诏免去鱼朝恩观军容使，解除了他对神策军的领导权，但又增加其实封为一千户。刘希暹觉察到事情有些诡异，遂提醒鱼朝恩，鱼朝恩这才开始生疑，然而，每次见到代宗，代宗恩礼如常，鱼朝恩这才放下心来。
第四步，诛杀鱼朝恩。皇甫温移镇来到京师，元载借故将他留在京师，遂与他和周皓一起定下了诛杀鱼朝恩之计。确定之后，元载密报代宗，代宗告诫他道：“好好干，别弄不好反受其害！”
大历五年三月十日，寒食节。唐代宗在皇宫设宴款待王公大臣，而把元载留在中书省值班，以备非常。结束后，众人都离开了皇宫，代宗让鱼朝恩留下商议大事，遂当面斥责其心怀异志。鱼朝恩替自己辩护，态度傲慢，口出不逊，代宗命周皓以及身边卫士将鱼朝恩抓住勒死。秘密处死鱼朝恩后，代宗下诏称鱼朝恩接到罢免其观军容使诏书后，其在自家上吊而死，将其尸体送还其家，赏赐六百万钱把他安葬了。