李俶和李泌掌握大权，自然不是张良娣乐意看到的。太上皇赏赐给张良娣一个七宝镶嵌的马鞍，李泌对唐肃宗说：“如今四海分崩，应当向百姓们展现俭朴的美德，张良娣不宜乘坐此鞍。请求陛下下令摘下珠玉交给国库，以后赏赐给立下战功的将士。”张良娣听了，怒从中来，从后阁内发话道：“我和你李泌都是乡里乡亲的，至于这样对我吗？”一个是宠姬，一个是宠臣，唐肃宗从中解劝道：“先生也是为了社稷着想啊！”就命人摘下了珠宝。这时，唐肃宗突然听见建宁王李倓在外面的走廊下哭泣，吃了一惊，遂将其召入问话，李倓回答：“臣一直担心大乱难以平定，如今见陛下从谏如流，很快就能看到陛下把太上皇迎回长安了，臣因此喜极而泣。”这件事发生后，张良娣开始对李泌和李倓怀恨在心。
又过了几天，唐肃宗对李泌说：“张良娣的祖母是昭成太后（唐玄宗的亲生母亲）的妹妹，太上皇一直念念不忘。我想让她当皇后，以令太上皇心安，你说如何？”李泌回答：“陛下在灵武，因群臣想立下军功，这才不得已登上帝位，并非有什么个人私心。至于立皇后之类的家事，还是等着太上皇的命令吧，也不在乎晚个年儿半载的。”唐肃宗同意了。
李辅国是唐肃宗的亲信宦官，此人外貌恭顺，沉默寡言，整日手持佛珠，一副慈祥模样，可是，却内心狡诈阴险，令人防不胜防，他见唐肃宗宠爱张良娣，二人主动接近，相互勾结，共同对付李泌，双方矛盾日渐激化。建宁王李倓对李泌说：“先生把李倓我推荐给皇上，令我能为国效命，我无从报答先生的恩德，请让我替先生除害。”李泌问道：“你指的什么？”李倓说出自己要杀掉张良娣的计划。李泌反对说：“这可不是臣子该说的话啊，请大王暂时打消这个念头，不要先动手。”但李倓不从。按：李倓又不是傻子，他明知李泌是李俶的人，还把这种高度机密说给李泌？这些话显然是李泌在事后指认李倓时的证词，可以说称李倓要杀掉张良娣，极有可能是李俶和李泌一手编造的谎言。史称，建宁王李倓屡屡在唐肃宗面前指斥张良娣和李辅国二人，二人也把矛头对准了李倓，在唐肃宗面前污蔑李倓说：“李倓恨不能当上元帅，图谋杀害广平王李俶。”张良娣之所以要杀掉李倓，一方面是因为李泌在她和李倓之间故意制造矛盾，诬陷李倓要杀掉她，另一方面，张良娣私下想让自己的儿子将来争夺太子之位，除掉英武的李倓符合她的利益，而李辅国此时其实也已经被李俶消无声息地拉拢到了自己一边，据《李揆传》、《李辅国传》可知，后来李俶之所以能当上太子，与李揆的建议有着直接的关系，这说明李揆早已是李俶的坚定支持者，而李揆对李辅国则持子弟礼，这就隐约地透露出李辅国似乎早已是李俶集团的人了。
唐肃宗当然也觉察到了这种矛盾。一次，他平静地对李泌说：“广平王李俶担任元帅已经一年，我如今打算让建宁王李倓专门负责军务，又担心力量分散。想册立李俶为太子，你看咋样？”李泌回答：“臣对此事早已说过了的，军务繁重，需要迅速处理，至于家务事，就该等太上皇的指示。不然，千秋万代谁还能分辨出陛下灵武即位的真实意思呢？这一定是有人想离间臣与广平王之间的关系罢了，臣请求去将此事告知广平王，以臣看来，广平王一定也不敢当啊。”李泌出宫后，就把此事转告给了李俶。李俶说：“先生深知我的本意，这是想把事情办好啊！”李俶入宫坚决推辞：“陛下尚未迎回太上皇，早晚问安，臣有什么心情去当储君！希望能等太上皇回宫之后再说吧。”唐肃宗连连赞赏，予以慰勉。
见李俶如此“懂事”，而李倓却屡屡惹是生非，又听张良娣和李辅国称其想要谋害李俶，唐肃宗不辨真假，勃然大怒，下令将李倓赐死。建宁王李倓之死决不是如史料记载的那么简单，据学者分析，李倓之死，其实是他与李俶斗争的结果，系李俶一手策划的冤案，这从李俶此后成为代宗皇帝，不仅笃信佛教，而且还经常采用各种旁门左道祈福，更有甚者一再追封李倓，直至追谥其为皇帝，这远远超出兄弟之间的常情，吕思勉先生一针见血地指出，“盖其得位皆有惭德，其为是，正所以掩其争夺之迹也。”
李倓死后，李俶和李泌二人都心生恐惧，李俶也打算杀掉张良娣和李辅国，李泌又一次劝阻道：“不行啊，你没看到李倓被杀吗？”李俶回答：“我是替先生担心啊。”李泌说：“我与皇上有过约定，等到收复京师以后，我就回山继续修道去了，大概能躲过一劫吧。”李俶说：“先生一走，我就更危险了。”李泌安慰他说：“大王只需尽到一个当儿子该尽的孝道。张良娣一介妇人，大王委曲求全，顺从于她，她又能怎么样呢？”
三百六十五、永王之变
灵武集团内部矛盾重重，其与唐玄宗之间的争斗也趋于表面化。
在唐玄宗入蜀途中，听从房琯之计放权给儿子们，于七月十五日发布诏书令他们奔赴各地镇守强藩，当时，谏议大夫高适劝谏，可是唐玄宗一意孤行，这实际上表达了对李亨马嵬驿不辞而别的不满。等到李亨灵武即位后，对此一直耿耿于怀，不予承认，然而，唐玄宗虽然表面上承认了灵武集团，但并未收回成命，严令永王李璘返回成都，其间确实耐人寻味。
唐玄宗的七月十五日诏书与李亨灵武即位一前一后，引起了不小的混乱。在唐肃宗的干预下，武威都督李珙、广陵大都督李琦都未能顺利赴任，只有山南东道、岭南、黔中、江南西道节度都使、永王李璘得以顺利来到江陵（今湖北省江陵县）赴任。李璘生母郭顺仪早死，他从小就由李亨抚养，李亨经常抱着他入睡，按理说二人虽是兄弟，却情同父子，但在权力面前，什么亲情都显得非常苍白了。
李璘七月来到襄阳，九月来到江陵。在江陵，他招募了数万将士，随心所欲任用官员，当时，来自江淮的租赋顺路运至江陵，堆积如山，李璘的数万军队每天都要消耗上万。李璘生于深宫，不谙世事，其子襄城王李玚孔武有力，以薛镠、李台卿、蔡垧为谋士，以为天下将要大乱，只有江南富足完整，李璘手握四道大军，控制数千里，应移居金陵，保有江南，如东晋那样，遂有割据江南的打算。唐肃宗听说后，就下诏命令李璘返回成都，但李璘不从。江陵长史李岘称病离开江陵，返回灵武，唐肃宗命其与高适一起商议对策。高适，盛唐著名诗人，《旧唐书》称：“有唐已来，诗人之达者，唯适而已。”高适年少落魄，曾客居梁宋之间，天宝中，高适已年过五十，才开始留意诗词，数年间就以独特的诗风为世人所称道；后来，受到宋州刺史张九皋推荐，被任命为封丘尉。高适对此职并不满意，辞职西去，受到河西节度使哥舒翰的赏识，被委任为左骁卫兵曹，充翰府掌书记；高适随哥舒翰一起入朝，哥舒翰在唐玄宗面前盛赞高适的才能。哥舒翰潼关失败后，高适西奔追随唐玄宗，在河池郡追上唐玄宗，面陈潼关失败的原因。他说：“臣深知哥舒翰忠义为国，然而已重病在身，脑力体力早已不支。监军李大宜与将领们结为兄弟，让倡女在军中弹琵琶箜篌，饮酒赌博以相娱乐，不关心军务。秦陇武士以及西部少数民族战士，暴晒于盛夏五六月的炎炎烈日中，饭都吃不饱，岂能奋勇杀敌？这就是我军临阵溃散，潼关天险一旦丢失的根本原因。南阳之军鲁炅、何履光、赵国珍各自持节，监军等数人又更相用事，如此一来，哪能必胜？臣与杨国忠争论，但最终不被采纳，陛下因之西幸巴蜀，这不足为耻辱啊！”唐玄宗将其晋升为侍御史。唐肃宗即位后，听说高适曾劝阻唐玄宗分遣诸王，就把他召至身边。
此时，高适分析了江南的重要性，进而又断言李璘必败。唐肃宗听后，不禁对高适刮目相看，十二月，唐肃宗下诏设置淮南节度使，统领广陵（今江苏省扬州市）等十二个郡，以高适为兼任御史大夫、扬州大都督府长史、淮南节度使；又设置淮南西道节度使，统领汝南（今河南省汝南县）等五个郡，以来瑱担任节度使，命二人与江东节度使韦陟一起对付李璘。
十二月二十五日，永王李璘擅自率领江陵水军顺流东下，对外谎称是东巡，声势浩大（《旧唐书》称，其率领仅五千甲士）。吴郡（今江苏省吴县）太守兼江南东路采访使李希言发信质问李璘为何要擅离自己的防区。李璘大怒，分兵命部将浑惟明偷袭吴郡；季广琛偷袭驻守在广陵的广陵长史、淮南采访使李成式。李璘进抵当涂（今安徽省当涂县），李希言当时驻扎在丹阳，他自己逃回吴郡，而派遣部将元景曜、丹徒太守阎敬之率军抵御；李成式也派遣部将李承庆率军抵御。李璘趁着新锐之气，一举击败阎敬之，将其斩首示众，元景曜、李承庆均不战而降，江淮地区一片惊慌。高适与来瑱、韦陟率部在安陆（今湖北省安陆市）会师，结下盟约，宣布齐心协力，一起讨伐李璘。
至德二载一月，时年五十七岁、原本隐居在庐山的李白不明真相，进入李璘的幕府，作组诗《永王东巡歌》抒发了建功报国情怀，在李白看来，李璘是在为国效力，而在唐肃宗以及高适等人看来，李璘却是一个彻头彻尾的阴谋家。不过，高适等人部队并没有派上用场，李璘大军继续东下后，却发现虽然击败了阎敬之等人，但长江下游的唐军却毫无投降的迹象。