先说一说唐肃宗的婚姻和家庭。唐肃宗当太子时，太子妃是韦坚的妹妹韦氏，韦氏为李亨生下第六子李僩（xian）和永和公主；韦坚受到李林甫的陷害，李亨吓得主动与韦氏离婚，自此身边就没了正妃。再说说他的儿子们，唐肃宗一生共有十四个儿子：长子广平王李俶（chu）,后改名为李豫，就是后来的唐代宗，生于开元十五年，至今已三十一岁，其母吴氏，是唐玄宗赏赐给李亨的宫女；次子南阳王、特进李儋（dan），后改名李係，孙氏所生；三子建宁王李倓（tan），张氏所生；第四子李佖早死；第五子新城王李僅，陈婕妤所生；第六子就是原太子妃韦氏所生的李僩，颍川王；第七子东阳王李侹，张美人所生；第八子李荣早死；第九子李僙，裴昭仪所生；第十子李倕，段婕妤所生；第十一子李偲，崔妃所生；第十二子李佋，张良娣（就是后来唐肃宗的张皇后）所生；第十三子李侗，也是张良娣所生；第十四子李僖早死。李佋死于唐肃宗上元元年，时年八岁，此时只有三、四岁。从第九子李僙开始，都是在唐肃宗至德二载收复长安后封王的，而第七子以上几个儿子则是天宝年间封的王，由此可见，李僙以下几个儿子此时还都很年幼，年长的也就是李俶、李儋、李倓、李僅、李僩、李侹六人，由于李亨没有太子妃，从法理上说这些儿子们都是庶子。
如今，张良娣是唐肃宗最宠爱的女人，唐肃宗即位后，就册封她为淑妃，眼看着就是未来的皇后，而张良娣也生下了两个儿子，这也就为唐肃宗的后宫争斗埋下了伏笔。与安禄山一样，唐肃宗也没立太子。张良娣欲立自己年幼的儿子，遂把年长的儿子们视为眼中钉，肉中刺，必欲除之而后快。唐肃宗的第三子建宁王李倓，英勇果敢，足智多谋。唐肃宗从马嵬驿北上后，随从兵马稀少，途中经常遭遇土匪袭扰，李倓亲自挑选精兵，一路冲杀在前，殊死血战，保卫着唐肃宗；有时，弄不来吃的，过了饭时，唐肃宗还饿着肚子，李倓就会悲从中来，痛哭流涕，军中将士对他都很敬重。到灵武以后，唐肃宗曾想让李倓担任天下兵马元帅，率领众将东征，李泌劝阻道：“建宁王确实是元帅的合适人选，然而，广平王李俶是哥哥，假设建宁王立下大功，难道要让广平王去当吴太伯吗？”唐肃宗回答：“广平王是嗣子，何必非要当元帅才尊贵？”李泌说：“广平王尚未正式当上太子。如今，天下艰难，人心所向就在于元帅。如果建宁王立下大功以后，就算陛下不愿让他当太子，一起与他立功的众将难道会答应吗？太宗皇帝和太上皇过去就是如此。”唐肃宗遂以广平王李俶为天下兵马元帅，统领众将。李倓听说后，向李泌道谢说：“这正是我的心愿。”
唐肃宗与李泌一起视察，士兵们私下交头接耳说：“身穿黄衣服的是圣人，穿白衣服的是山人。”唐肃宗听了，就对李泌说：“世事艰难，不敢让你委屈当官，暂时穿上紫袍以打消人们的疑虑。”李泌不得已只好穿上，道谢。唐肃宗见了，高声大笑道：“既然已经穿了这身衣服，就不能没有个名堂！”随即从怀中拿出提前写好的诏书，任命李泌为侍谋军国、元帅府行军长史。李泌坚决推辞，唐肃宗说：“朕不敢以你为臣，只不过暂时让你帮助朕度过艰难岁月罢了。等到天下太平以后，随你想干什么干什么。”李泌只好接受。唐肃宗把元帅府设置在行宫内，李俶入宫晋见，李泌就留守；李泌入宫，李俶留守。李泌又对唐肃宗建议：“众将害怕陛下的天威，在陛下面前禀报军情，往往词不达意，不敢畅所欲言，一旦出现差错，危害很大。请求陛下允许我和广平王先认真研究以后，再向陛下禀报，能行则行，不能行就止。”当时军情紧急，千头万绪，各地奏报从凌晨到深夜纷至沓来，唐肃宗命人全部送交元帅府，李泌先看，遇到紧急军情，李泌再重新封好，隔着宫门呈给唐肃宗，其余奏报，则等第二天由皇帝处理。宫门钥匙、军符，均由李俶和李泌掌管。
李俶和李泌掌握大权，自然不是张良娣乐意看到的。太上皇赏赐给张良娣一个七宝镶嵌的马鞍，李泌对唐肃宗说：“如今四海分崩，应当向百姓们展现俭朴的美德，张良娣不宜乘坐此鞍。请求陛下下令摘下珠玉交给国库，以后赏赐给立下战功的将士。”张良娣听了，怒从中来，从后阁内发话道：“我和你李泌都是乡里乡亲的，至于这样对我吗？”一个是宠姬，一个是宠臣，唐肃宗从中解劝道：“先生也是为了社稷着想啊！”就命人摘下了珠宝。这时，唐肃宗突然听见建宁王李倓在外面的走廊下哭泣，吃了一惊，遂将其召入问话，李倓回答：“臣一直担心大乱难以平定，如今见陛下从谏如流，很快就能看到陛下把太上皇迎回长安了，臣因此喜极而泣。”这件事发生后，张良娣开始对李泌和李倓怀恨在心。
又过了几天，唐肃宗对李泌说：“张良娣的祖母是昭成太后（唐玄宗的亲生母亲）的妹妹，太上皇一直念念不忘。我想让她当皇后，以令太上皇心安，你说如何？”李泌回答：“陛下在灵武，因群臣想立下军功，这才不得已登上帝位，并非有什么个人私心。至于立皇后之类的家事，还是等着太上皇的命令吧，也不在乎晚个年儿半载的。”唐肃宗同意了。
李辅国是唐肃宗的亲信宦官，此人外貌恭顺，沉默寡言，整日手持佛珠，一副慈祥模样，可是，却内心狡诈阴险，令人防不胜防，他见唐肃宗宠爱张良娣，二人主动接近，相互勾结，共同对付李泌，双方矛盾日渐激化。建宁王李倓对李泌说：“先生把李倓我推荐给皇上，令我能为国效命，我无从报答先生的恩德，请让我替先生除害。”李泌问道：“你指的什么？”李倓说出自己要杀掉张良娣的计划。李泌反对说：“这可不是臣子该说的话啊，请大王暂时打消这个念头，不要先动手。”但李倓不从。建宁王李倓屡屡在唐肃宗面前指斥张良娣和李辅国二人，二人也把矛头对准了李倓，在唐肃宗面前污蔑李倓说：“李倓恨不能当上元帅，图谋杀害广平王李俶。”
唐肃宗当然也觉察到了这种矛盾。一次，他平静地对李泌说：“广平王李俶担任元帅已经一年，我如今打算让建宁王李倓专门负责军务，又担心力量分散。想册立李俶为太子，你看咋样？”李泌回答：“臣对此事早已说过了的，军务繁重，需要迅速处理，至于家务事，就该等太上皇的指示。不然，千秋万代谁还能分辨出陛下灵武即位的真实意思呢？这一定是有人想离间臣与广平王之间的关系罢了，臣请求去将此事告知广平王，以臣看来，广平王一定也不敢当啊。”李泌出宫后，就把此事转告给了李俶。李俶说：“先生深知我的本意，这是想把事情办好啊！”李俶入宫坚决推辞：“陛下尚未迎回太上皇，早晚问安，臣有什么心情去当储君！希望能等太上皇回宫之后再说吧。”唐肃宗连连赞赏，予以慰勉。
见李俶如此懂事，而李倓却屡屡惹是生非，又听张良娣和李辅国称其想要谋害李俶，唐肃宗不辨真假，勃然大怒，下令将李倓赐死。李倓死后，李俶和李泌二人都心生恐惧，李俶也打算杀掉张良娣和李辅国，李泌又一次劝阻道：“不行啊，你没看到李倓被杀吗？”李俶回答：“我是替先生担心啊。”李泌说：“我与皇上有过约定，等到收复京师以后，我就回山继续修道去了，大概能躲过一劫吧。”李俶说：“先生一走，我就更危险了。”李泌安慰他说：“大王只需尽到一个当儿子该尽的孝道。张良娣一介妇人，大王委曲求全，顺从于她，她又能怎么样呢？”