兴庆宫内原本有三百匹马，七月十八日，李辅国矫诏将这些马取去，只给太上皇留下十匹。太上皇心里非常生气，决定第二天要亲见儿子讨个说法，他对高力士发牢骚道：“我的儿子受到李辅国的蛊惑，不能尽孝了啊！明天一早我们去北内！”

七月十九日一大早，太上皇领人一起朝北内而来，可是，当他们来到北内后，唐肃宗却拒不接见，而命人传话道：“两天以来皮肤病发作，卧床不起，不能亲自拜伏，请太上皇暂且留下吃了早饭。”太上皇就在北内吃了早饭。饭罢，唐肃宗又命人传话说：“请太上皇暂且回南内。”当太上皇一行走在夹城，行至睿武门时，突然听见一片马蹄声由远而来，原来是李辅国率领五百射生军骑兵直逼过来了，将士们拔出佩刀站在路中心，挡住了太上皇一行的去路。李辅国对太上皇说：“皇帝因兴庆宫狭小，故迎接太上皇迁居大内。”看着气势汹汹的士兵们，太上皇着实吃了一惊，吓得几乎掉下马来，幸赖左右扶持，才没落马。高力士拍马上前，厉声呵斥道：“五十年太平天子，李辅国过去曾为家臣，休得无礼！还不快快下马！”李辅国不得已只好下马。高力士又对李辅国身后的将士们宣布太上皇的问候：“各位将士们你们都还好吗？”李辅国命将士们将佩刀纳入鞘中，高声说道：“太上皇万福！”众将士这才齐齐跪下叩头，山呼万岁。高力士又对李辅国说：“李辅国牵马！”李辅国只好上前与高力士一起拉住太上皇的坐骑，与将士们一起护送太上皇安全来到西内。太上皇来到西内后，被安排住在甘露殿，等李辅国等人退去后，太上皇握住高力士的双手，哭泣道：“今天如果没了将军你，阿瞒我已成了兵下之鬼了啊！”站在身边的九仙媛、高力士、陈玄礼听后都忍不住流下泪来。上元元年七月太上皇被逼迁西内一事，很多书上都有记载，《常侍言旨》、《高力士外传》等书记载得更是惊心动魄。《高力士外传》还记载，当高力士斥责李辅国时，李辅国反唇相讥：“老翁！你太不懂事了！一边去！”当即斩杀了高力士身边的一名侍从。到了傍晚，数十名兴庆宫里宫女抱着太上皇的被褥、衣服才赶到西内，此时，太上皇也已平静下来，对高力士说：“兴庆宫是我的龙兴之地，我多次要让给皇帝，皇帝仁慈孝顺没有接受。今天之事虽是李辅国之计，但也正是我意。”

当天，李辅国又与六军大将们一起身穿白色衣服，向唐肃宗请罪。唐肃宗安慰大家说：“南宫（兴庆宫）、西内又有什么区别？你们担心小人挑拨离间，防微杜渐，安定社稷，有什么担心的呢？”刑部尚书颜真卿率先提议，并率领全体朝臣上书，请求前往西内看望太上皇。李辅国对颜真卿此举很是怨恨，就上奏唐肃宗，将颜真卿贬为蓬州长史。

太上皇被逼迁西内之后，他身边的亲信诸如陈玄礼、高力士等人甚至那些过去曾经服侍过的老宫女也都被遣散，不得在太上皇左右，这其实是唐肃宗把自己的父亲软禁了起来。到了七月二十六日，唐肃宗又下诏把高力士流放到了巫州（今湖南省洪江市境内），王承恩流放到了播州（今贵州省遵义市），魏悦流放到了溱州（今重庆市綦江区），勒令陈玄礼退休，将九仙媛（即如仙媛）流放到归州（今湖北省秭归县）安置，勒令玉真公主出宫居住玉真观。《高力士外传》记载，太上皇被逼迁西内十余日后，高力士因患疟疾住在功臣阁下。一天傍晚，有人自称是唐肃宗的亲信宦官啖庭瑶，称唐肃宗要见高力士，高力士还问：“你见过太上皇没？”对方回答：“见过了。”高力士遂起身随啖庭瑶来到阁门之外。不久，就有人拿来一卷文书，让高力士看，上面都是免职之语，高力士也没看多清楚，上奏称：“臣很早就该死了，陛下隐忍已久，但我所看奏表上指斥我的罪行，我却闻所未闻。希望能亲自见到陛下，就算被杀也心甘了啊！”唐肃宗根本不予理会。第二天，唐肃宗下诏称：“高力士暗中与逆党勾结，怀有叛逆之心，本该处死，但念及其长期服务太上皇，暂且免于一死，开除流放巫州。”

逼迁西内，是太上皇与唐肃宗父子之间公开翻脸。高力士未被流放之前的十余天里，太上皇每天与高力士一起看着宫女们打扫庭院，拔去野草，有时候，二人讲经说法。但毕竟此事极大地刺伤了太上皇，这位曾经叱咤风云的太上皇内心可想而知，他来到西内当天，就宣布不再吃肉，此后，唐肃宗在遣散高力士等人之后，另外挑选了一百多名宫女到西内服务，令万安公主和咸宜公主招呼太上皇用餐，但由于心情不好，太上皇的身体也日渐衰弱。开始的时候，唐肃宗还有时前来问安，但唐肃宗本人也生病了，只派人代自己问候老父。再后来，唐肃宗稍稍有所觉悟，也后悔自己当初的作为，对李辅国猜忌起来，打算杀掉李辅国，但由于忌惮其手握禁军，一直是犹豫不决。