贞元三年闰五月发生吐蕃劫盟事件后，李泌拜相，张延赏称病请假，两个月后就死去了。张延赏死后，德宗对同为宰相又与张延赏不和的兵部侍郎、同平章事柳浑越来越看不顺眼了，当时，柳浑常常与张延赏意见相左，弄得张延赏非常不快，曾让亲信给柳浑传话说：“相公德高望重，只需在朝廷上少说话，就可长久地位居高位。”柳浑却不买账，回复道：“你替我去谢谢张大人，我柳浑的头可断，也不能不让我说话！”二人由此反目。至于说德宗厌恶柳浑的原因也许是出于让李泌独相的目的，但更重要的大约还是德宗本人的虚荣心在作怪。柳浑一开始就断定于吐蕃的会盟不成，虽然德宗在吐蕃劫盟之后曾经假惺惺地夸奖了柳浑一番，但柳浑为人直率简单，没有什么威仪，在德宗面前常常会说出些俚语粗话，而德宗却喜欢文雅之士，每当见到柳浑，总是感到浑身不自在。德宗打算将他贬为诸王的长史，李泌劝说道：“柳浑只是急躁直率而已，并无其他大错，按照惯例，遭到贬官的前任宰相没有当长史的。”德宗又打算将柳浑贬为诸王傅。李泌建议改为常侍。德宗说道：“如果能把他罢相，什么都行！”八月九日，德宗下诏将柳浑贬为左散骑常侍。
从李泌六月拜相，七月就发生了郜国公主事件，在李泌的劝解下，德宗暂时释然，但到了八月，又有人告发郜国公主与太子詹事李昇、蜀州別驾萧鼎、彭州司马李万、丰阳县令韦恪等人淫乱，并且暗中诅咒皇帝。德宗大怒，将郜国公主囚禁在皇宫内，又派人严厉斥责太子。太子李诵不知说什么才好，只好请求与萧妃离婚。不久，郜国公主就去世了，德宗担心萧氏心生怨恨，打算再把萧氏杀掉，正巧，太子生病了，德宗遂下令将萧氏杀害，以禳灾。
德宗把李泌召来把这件事告诉他，并说：“舒王李谟已经长大了，孝顺友爱，温和宽仁。”李泌回答：“事情哪能到这个地步！陛下为何突然生疑，就要废掉儿子改立侄儿，这岂不是太草率了吗！”德宗勃然大怒，说道：“你为何要离间我们父子？谁给你说过舒王是我的侄儿！”李泌回答：“是陛下自己说的。大历初年，陛下对臣说：‘今天我得到了几个儿子。’臣问缘故，陛下说：‘我二弟昭靖太子李邈的几个儿子，皇上让我抚养。’如今，陛下尚且猜忌自己的儿子，对侄儿又能好到哪里？舒王虽然孝顺，从今往后陛下应该自己努力，不要指望他的孝顺了。”德宗恶狠狠地说道：“你难道不爱惜你自己的家族吗？”李泌回答：“臣正是爱惜自己的家族，才不敢不言无不尽。如果臣畏惧陛下盛怒而曲意顺从的话，以后陛下明白了，一定会怨恨臣，说：‘我让你一个人当宰相，你却不极力劝谏，以至于此，我一定也再杀了你的儿子。’臣已经年老了，去日无多，如果陛下冤杀了臣的儿子，让臣的侄儿当臣的继嗣，臣不知道能不能享用到他的祭祀啊！”说完呜咽流泪。
德宗听了，也流下眼泪，说道：“事己至此，让朕该如何是好？”
四百八十三、李泌拜相（4）
李泌回答：“废立太子，这是件大事，希望陛下深思。臣原本以为陛下盛德，当令海外蛮夷都像爱戴父母一样爱戴您，可是，如今陛下对自己的儿子竟然如此猜疑！臣今日所言，不敢有所避讳。从古迄今，凡是父子相疑，没有一个不破国亡家的。陛下还记得昔日在彭原的时候，建宁王是因为什么而被诛杀的吗？”
德宗说道：“建宁王叔确实冤枉，肃宗脾气急躁，而陷害的人阴谋太深了啊！”李泌继续说道：“臣昔日因建宁王之故，坚决辞官，发誓不再待在天子身边。不幸今日臣又当了陛下的宰相，又让臣亲眼目睹此事。臣在彭原时，虽然受到肃宗的厚恩，但仍然不敢称建宁王之冤，等到辞别时才敢谈及，肃宗也心生懊悔，还流下了眼泪。自从建宁王被杀后，先帝（即代宗）也经常心怀忧惧，臣也曾向肃宗背诵《黄台瓜辞》，以预防先帝受到奸人的陷害。”德宗回答：“这我都知道。”说到这里，德宗的脸色才稍稍和缓下来，随口问道：“贞观和开元时期，皇帝也都废掉过太子，为何国家没有灭亡呢？”李泌回答：“臣正要说到这一点。昔日，李承乾曾屡次监国，他的同党很多，东宫卫士也非常多，与宰相侯君集谋反，事情败露后，太宗皇帝让他的舅舅长孙无忌与数十名朝廷重臣一起审理，案件事实清楚，然后，召集百官集体讨论。即便如此，当时还有人反对道：‘希望陛下继续当好慈父，留下承乾一命。’太宗皇帝采纳了这一建议，还将魏王李泰一并废黜。陛下既然知道肃宗脾气急躁，也知道建宁王是冤枉的，臣深感庆幸！希望陛下牢记前车之鉴，平静地思考三天，把此事的来龙去脉想清楚，陛下一定会轻松下来，知道太子根本没有异心。如果真有确凿的证据，陛下就该召集二十名明白事理的大臣与臣一起调查太子身边的人，经过审讯如果真有此事，希望陛下遵循贞观时期的旧例，将舒王一并废黜而册立皇孙，那么，就算是百代之后，天下仍然是陛下子孙的天下啊。至于说到开元时期废黜太子之事，武惠妃陷害太子李瑛兄弟，玄宗将他们杀掉，天下百姓都以为是冤枉的，这是百世的教训，岂能效法！况且，陛下曾经让太子去蓬莱池与臣见面，臣看太子的仪表，并非如商臣那样长着蜂目豺声之相，臣还一直担心他过于仁弱了呢。太子从贞元以来就一直住在少阳院，就在陛下的寝宫旁边，未尝与外人接近，也不曾干预外面的事情，岂能有什么阴谋！那些陷害的人常常生出百端奸计，就算有西晋愍怀太子亲手写的信，像李瑛那样全副武装闯入皇宫，尚且不能全信，更何况仅仅因岳母有罪就要受到牵连呢？幸亏陛下把这事告诉了臣，臣敢以全家人的性命来担保太子一定不知道他们的计划。假如像杨素、许敬宗、李林甫等人听了陛下此言，早就丧失立场，投靠舒王去当定策功臣去了！”
德宗又说：“这是朕的家务事，与你有什么关系？竟然如此力争？”李泌回答：“天子以四海为家，现在，臣一个人当宰相，四海之内，一件事处理不当，就是臣的责任。况且，如果坐视太子蒙冤而闭口不言，臣的罪过就太大了啊！”德宗说道：“看在你的面子上，朕再等一等，明天再说。”李泌把笏板收起，叩头哭泣说道：“如此，臣可以预见陛下父子将和好如初了啊！不过，陛下回宫之后，应该自己深思，千万不要将想法透漏给身边的人，一旦透漏出去，这些人一定想在舒王那里邀功，那么太子就危险了。”德宗说道：“知道了。”