卢杞人虽丑，却精通为官之道，他自知才能远不及刘晏、杨炎，要想把这个宰相位置坐稳了，就必须和其他朝中的大臣拉近关系，从而结成党羽，混淆视听。恰好杨炎称病不朝又给他提供了机会，于是卢杞当上宰相不久便大肆铲除异己，同时擢升了许多主动前来投靠他的官员，这其中，唯有一人他拉拢不了，却也不敢得罪—郭子仪。

唐德宗登基之后，郭子仪已无权势，但他老人家的战功、资历、威望摆在哪里，连皇帝都要尊称他一声“尚父”。卢杞当上宰相这一年，郭子仪已经八十五岁了，其身体状况极度恶化，已如风中烛火一般，不过他老人家倒是活得洒脱，反正国家大事也不用他再操心，皇帝那边又好吃好喝地供着他，他人闲钱多，竟然让人花重金买了一批歌姬回来，每日就窝在府中乐呵呵地看这些歌姬唱歌跳舞。住在他周围的其他官员、百姓见他府中热闹，许多人被美妙的歌舞声吸引，偷偷跑来爬墙围观，郭子仪见了索性吩咐下去：“把墙都拆了，周围邻居要看便让他们看，省得他们爬墙。”郭子仪的儿子们一听这话急了：“父亲，咱们郭家家财巨万，岂能没有围墙？万一被人趁机潜入我们府中偷窃钱财，那可怎么办？”

“糊涂！为父这么做自有道理，你们懂得什么，日后你们就明白了。”

郭子仪的儿子们拗不过父亲，只得把围墙拆了，从此整个郭府完全暴露在所有人的视线之中。又过了数月，郭子仪病情渐重，已时日无多，皇帝得知此事，亲自前来探望，到了府外一看，好家伙，偌大的郭府竟然连面墙都没有，他的家人进进出出，谁在做什么都被人看得一清二楚，唐德宗仔细一想，很快明白了郭子仪这么做的良苦用心—朕之前错杀刘晏，尚父他老人家必定是知道的，他这是担心有人也会像陷害刘晏一样诬陷郭氏谋反哪。如今没了围墙，他们郭氏一族到底有没有不轨的举动天下人一看便知，又何须他们自己解释。想到这里，唐德宗又是惭愧，又是佩服，遂派人入府传话，说皇帝挂念尚父安危，特亲自登门探视。郭子仪买来的那一帮歌姬畏惧天子，见状都要回避，郭子仪摆手道：“不妨，我将你们买来，正是希望让天子明白，我们郭氏恩宠已极，只求安享荣华富贵，绝无夺权之心。既然如此，你等又何须回避？”

皇帝亲自登门慰问郭尚父的消息一经传开，其他朝廷重臣纷纷效仿，之后每日都有官员前来郭府做客，郭子仪行动不便，因此招待这些官员的任务都是由那些歌姬去完成。直到一日，家丁前来通报，说新任宰相卢杞已到府外，郭子仪慌忙令人替他更衣，然后让那些歌姬全部退下，这才强撑着病躯起身与卢杞相见。待卢杞走后，那些歌姬好奇地问郭子仪道：“您贵为尚父，连天子来了都不怕，却为何不顾病体，亲自接待区区一个宰相？”

郭子仪叹道：“卢杞此人相貌丑陋且睚眦必报，你们若见了他那张怪脸一定会忍不住笑话他。我大限将至，已无能力再规劝天子远离小人，所以能做的只是保住你们的性命。日后卢杞一旦掌握了大权，得罪过他的人全都必死无疑。”

说过这话，未有一月，郭子仪在府中去世。唐德宗不胜悲痛，为之废朝五日，专程为郭子仪送葬。按照唐朝之前的制度，官员的坟茔高度最高不能超过一丈八尺，唐德宗特为之破例，下诏将郭子仪的坟茔加高十尺。然而，郭子仪真正在乎的并不是这些，他临终前，一直心心念念的是他家人的安危—和他之前的预言一样，少了“郭尚父”这一重大威胁的卢杞很快全面得势，他先是利用杨炎谗害刘晏且消极怠工等事件大做文章，怂恿皇帝免去了杨炎的宰相之职，后又将其逼杀；紧接着，接替杨炎出任宰相的几位正直官员也皆陆续遭到卢杞的加害，一年之内，多位宰相或被贬官，或被赶往外地出任节度使；再然后，当与卢杞共掌相权的官员换成一个名叫关播的人时，卢杞终于彻底暴露了他的政治野心。一次，唐德宗召卢杞和关播二位宰相商议国事，结果一直是卢杞在滔滔不绝的发言，关播最多点点头，从始至终一言不发。皇帝很奇怪啊：“关爱卿你也是宰相，为何不提出你的政见？”关播刚抬起头准备开口，卢杞瞪了他一眼，关播赶紧又把头低下了…事后，卢杞警告关播道：“杨炎等人的下场你看不到吗，本相之所以至今还让你留在这个位置上，正因你一向老实、话少。刚才未经本相同意你就想与皇帝交谈，你想做什么！”从此之后，关播担任宰相期间再也没和皇帝说过一句话，卢杞之猖獗由此可见一斑。