李怀光离开奉天后，并未遵旨而行，立即发兵前往收复长安。他带着部下走到咸阳便驻扎了下来，长期按兵不动。唐德宗这一年来已经被臣下各种“反水”反怕了，见继朱滔、李希烈、姚令言、朱泚之后，李怀光也拒绝听从自己的命令，不敢再对其用强，只好派使者前去好言询问他为何不攻打长安。李怀光将卢杞之前犯下的各种罪行罗列成文书交给使者，说道：“你回去告诉陛下，奸相卢杞罪大恶极，祸国殃民，此事天下无人不知。要我收复长安，除非将此人杀掉，否则拒不从命！”唐德宗得使者回报，召见除卢杞之外的其余大臣，问他们道：“朕知道卢杞确实犯过一些过错，但他真的像李怀光说的一样罪大恶极吗？”一位正直的大臣名叫李勉，上前奏道：“卢杞的罪恶，比起李怀光所弹劾的内容，有过之而无不及。”唐德宗再问：“那为什么朕觉得卢杞看起来不像是大奸大恶之徒呢？”李勉正色答道：“陛下还不明白吗，卢杞的罪恶，全天下人都知道，只有您一人不知道—这正是他的奸邪之处！”

唐德宗默然许久，方才说道：“并非朕信不过李勉，但你们别忘了，当初哥舒翰也是以同样的借口逼迫先帝杀掉了安思顺，事后证明，安思顺反倒是真正的忠臣。今日李怀光以此事向朕逼宫，先不论他与卢杞到底谁忠谁奸，朕若是轻易答允了他，朝廷的威名何在？但若不向他妥协，此人一旦也造反作乱，那天下局势将更加不可收拾。所以朕决定折中听取李怀光的建议，先将卢杞赶出朝廷，贬作一名地方小吏，诸位爱卿认为如何？”

大臣们商议之后，觉得皇帝提出的方案可行—卢杞此人作恶太多，想要取他性命的大有人在，他一旦失去了宰相这一护身符，就算皇帝不杀他，他也活不了多久了。于是唐德宗将卢杞赶出了关中，贬到外地当了一个州司马。卢杞被赶走后，唐德宗再次下令李怀光发兵收复长安，李怀光仍然拒绝从命。

而这时，李晟带着神策军也回来了，唐德宗对李怀光已经极为不满，但内心终究不敢再与他交恶，万一此人真的造反，甚至与朱泚勾结，那可不是闹着玩的。李晟了解过皇帝的顾虑后，主动请缨前往咸阳担任李怀光的副将，伺机说服李怀光出兵。唐德宗忧心忡忡地说道：“眼下朕能够信得过的将领，只有你和浑碱二人了，浑碱自从上一战之后一直在养伤，你此去咸阳，可万万不可有任何闪失。”李晟宽慰皇帝道：“陛下放心，臣能够说动李怀光出兵便罢，如果无法说服他，臣也必定会带着所有神策军安全归来。而且臣此去还有一个重要的使命，倘若李怀光真的有不轨之心，那臣潜伏在他的身边，就能第一时间通知朝廷，提前设法应对。”

恰好李怀光听闻李晟归来，担心此人武艺太强，一旦皇帝对自己失去了耐心，等浑碱伤好了让他与浑碱联手前来讨伐自己，那将极难应对，因此李怀光也上奏朝廷，希望唐德宗把李晟派到咸阳协助自己。唐德宗遂下诏，命令李晟前往咸阳与李怀光合营一处。李晟到咸阳之后，李怀光的部下纷纷前来拜会李晟，表达自己的仰慕之意，原因无他：一，李晟是天下第一猛将，唐军上下皆崇尚勇武的好汉，而且此人还和不少朔方军联手作战过，朔方军与他多年不见，听说他亲临咸阳自然要前来拜码头；二，李晟御下有方，这一点和唐太宗李世民有的一拼，战场上的他是杀神，战场下的他则是个爱兵如子的谦谦君子，深受唐军将士们的爱戴。李怀光见状，暗叫不好—本来他是想利用这个机会兼并李晟手下的一万军队，现在照这个架势看，弄不好是谁兼并谁呢。李怀光为了降低李晟的威望，想出一计，他对李晟道：“同样是唐军，你的军队的军饷竟然比我军高出数倍，连军饷之事都做不到公平公正，我军士兵如何会愿意替朝廷效力呢？”

李怀光说的确实是实情，李晟的士兵不但军饷高，平日里赏赐之物也比李怀光的士兵多得多，原因很简单，李晟的军队是禁军，待遇自然是最好的，这一点是各朝各代的惯例，从来也没人觉得有什么不对。那李怀光为何要专门提起这事呢，原因也很简单：他才刚与李晟合兵，不好一上来就吞并对方的军队，但以军饷不公为借口，可以设法先把李晟的军饷、粮食占为己有。李晟只要同意把这些战略物资重新分配，那神策军见自己的粮饷突然锐减，肯定会怨声载道，那时，李怀光再以主帅的身份出面，大义凛然地怒斥李晟无故削减神策军的粮饷，然后不容他分辨，直接把他赶出咸阳。神策军不知究竟，只道真是李晟搞的鬼，自然会集体投入他李怀光帐下。