当然，赵构是有身份的人，像这种出尔反尔的话，自己不好去跟岳飞说，便由张浚出面去找岳飞谈，并因此产生了一段非常著名的对话。张浚先是装作不知道赵构曾将淮西军交给岳飞的事情，开口便问：“王德在淮西军中很有威望，我准备用他为都统制，再命吕祉以都督府参谋的身份节制这支军队，你觉得我这种安排可行吗？”
岳飞自然大为恼怒，便直言不讳地说道：“淮西士兵多为盗匪出身，变乱无常。王德和郦琼名位向来不相上下，若以王德为都统制，郦琼那里难以平衡，吕尚书虽有才干，但不通军旅，难以服众。我看如不用大将统领，淮西必遭大乱。”
张浚已然不满，又问：“张俊如何？”
岳飞答道：“张宣抚粗暴寡谋，难以服众！”
张浚十分不悦，冷冷说道：“那就只有杨沂中了。”
岳飞仍不同意，反驳道：“杨沂中与王德、郦琼名位等同，如何能够驾驭！”
张浚顿时勃然而怒，变色道：“浚固知非太尉不可也！”
岳飞也在气头上，立刻顶了一句道：“都督以正问，飞不敢不尽其愚，难道是为了得到兵权嘛！”至此，将相彻底谈崩，岳飞当晚就带着满腔的怒火离开建康京，而且没回驻地，直接跑到了江州庐山，躲进东林寺里，以为母亲姚氏守孝为由向赵构提出辞职。
岳飞本来是赵构最信任也是最看重的将领，否则赵构也不可能动了将全国大部分兵力交给岳飞的念头，但岳飞这一举动，却引起了赵构的强烈不满，因为在宋朝皇帝的眼里，武将不会打仗，不算是大毛病，但要是不好管就出现了问题，而像这种即会打仗又不肯听话的武将，问题就更加严重，早晚要威胁到国家的统治基础。岳飞这一脱离臣规的举动，显然深深刺痛了赵构敏感的神经，君臣之间的关系已开始出现了裂痕。
然而赵构也很清楚，此时磨还没卸，驴也杀不得，只好诏令不准，催岳飞尽快下山。可是岳飞正在赌气，不但不肯奉召，反而一再上表请求解除兵权，赵构被逼无奈，只得把岳飞的参议官李若虚和爱将王贵派上庐山，在东林寺里开了两间房，天天催岳飞下山。岳飞仍是不肯，一直僵持了六天，李若虚被逼不过，对岳飞说了句非常狠的话，大意为：“你不过是个农夫出身，却掌握这么大的兵权，这不是天子的恩典吗？可你却坚决不肯出山，难道是觉得自己可以跟朝廷对抗了吗？朝廷又怎么会不怀疑你？你难道是真想造反吗？”
岳飞这才恍然大悟，赶紧下山向赵构请罪，请求将自己“明正典刑，以示天下”，赵构自然不会在此时降罪，还特地降诏抚慰道：“卿前日奏陈轻率，朕实不怒卿。若怒卿，则必有行遣，太祖谓犯吾法者，唯有剑耳！所以复令卿典军，任卿以恢复之事者，可见朕无怒卿之意也！”这话说得动听，但细品起来，里面已暗藏杀机。
岳飞这次负气辞职，使他一下从赵构的爱将变成了受猜忌之人，实在是很不理智的行为，但是事实表明，他对淮西局势的判断，却没有任何偏差。几乎就在岳飞回到鄂州大本营的同时，淮西的兵变就已经爆发了。
张浚说服赵构不要将淮西军权交给岳飞之后，就把都督府参谋军事吕祉派往庐州督军，而此前刘光世手下大将王德已被升为行营左护军都统制，这样淮西军的领导班子就已经搭好。张浚对这样的安排非常满意，因为王德能够升官，自己是出了力的，吕祉又是自己的绝对心腹，那么淮西军不就跟自己的一样了嘛！谁知这种安排的后果早已被岳飞不幸言中，王德为人粗鲁而自负，与同僚之间的关系一直很紧张，而刘光世另一员爱将郦琼向来都与王德不和，这回看他升了官，心里十分不满，便公然大搞串联，找来好多将领一起向都督府参谋军事吕祉告王德的状。
吕祉刚刚跟王德搭起班子，自然要对王德进行维护，便对诸将说道：“王德是有问题，可张相公最爱能打仗的人，只要能打胜仗，再大的过错他都能原谅，何况你们反映的又都是小问题。”郦琼等人一见吕祉竟然对王德公然包庇，就更加不肯善罢甘休，于是又告到了御史台。这样淮西军的内讧就传到了赵构耳朵里，赵构想问题还是比较细，觉得刚对淮西领导班子做了大的调整，正是稳定压倒一切的时候，不能因为一个人而去得罪一批人，便命王德带着本部八千人返回建康，划拨给都督府直接管理，又将郦琼升为行营左护军的副都统制。
谁知这样一来，吕祉不禁大为恼怒，因为在他看来，郦琼之所以越级告状，显然是没将自己放在眼里，而朝廷把王德调走，又等于是向郦琼妥协了，如果自己放任不管，以后在淮西还怎么混啊！吕祉本来就是个极为自负的人，哪能咽下这口恶气，于是立即暗中俱表，称郦琼等人在淮西拥兵自重、无法无天，如果不将他们罢免，早晚必生内乱。这时赵构也觉得淮西的问题已越来越严重，便急忙发表江东宣抚使张俊为淮西宣抚使，主管殿前司公事杨沂中为淮西制置使，命他们进驻庐州，稳定局势。
然而吕祉暗中上表的事情，已被书吏朱照泄露了出去，郦琼等人又惊又怒，聚在一起商量对策，统制官康渊说道：“朝廷一向轻视武将，使武将蒙受屈辱，听说齐国皇帝能降低身份，重用有才能的人，不如去投奔齐国。”于是众将就有了反意。等朝廷命张俊、杨沂中进驻淮西的旨意正式传到庐州那一天，郦琼等人就地起反，杀掉吕祉，带着淮西军剩下的四万多名士兵，渡过淮河逃往伪齐。
淮西军叛逃的消息，宛如一个突如起来的晴空霹雳，将南宋君臣一个个惊得目瞪口呆，赵构情急之下，非但没敢给郦琼降罪，反而赶紧派人去给郦琼传旨，称“以前犯罪，不以大小，一切不问，并以赦除”，又急忙命岳飞给郦琼写信劝他回头，但郦琼又不是三岁小孩，怎么会为赵构的一纸赦书而回头呢，对此毫不理睬。
像淮西之变这样大规模的叛逃事件，在宋朝历史上尚属首次，所造成的恶劣影响也是显而易见的。首先是给国家造成了极大的直接经济损失，淮西军是南宋五支屯驻大军之一，这次除了王德本部的八千人马外，其余全部叛逃，其中仅士兵就有四万余人，另有家属十余万，卷走的兵甲、器械、粮草、钱帛等战略物资不计其数，因淮西军叛逃而造成的物质损失，不下于南宋建国以来任何一次军事上的惨败。
其次是对国防造成了极大的威胁。淮西军是南宋五支屯驻大军之一，其防地又是南宋前沿四大阵地之一，这支军队叛逃之后，南宋苦心构筑的淮西防线瞬间崩塌，已无一兵一卒布防，幸亏金国此时正忙于内斗，又生怕中了南宋的诈降计，这才没敢趁虚而入，否则南宋方面究竟要受到多大损失，将是不可估量的。
最后是带给南宋君臣间造成了更大的隔阂。郦琼挑头造反，本来犯下的是十恶不赦之罪，理应严惩，谁知赵构不但不敢怪罪，还给他亲笔写了一封十分肉麻的诏书，大夸淮西军将士们的功劳，说他么造反只是因为误会，自己非但不会降罪，还要对他们“优授官爵，更加于前”，至于郦琼留在江、淮一带的田产，不但不会没收，还专门派人看护，雇人帮他耕种，连种子、化肥都替他买好了，只等他回来收割。这封信郦琼看后虽说无动于衷，但那些尚未反叛的将领难免会心生感慨，因为这不就等于是明着告诉大伙儿，造反不但没罪，反而还能升官发财。而在此事之后，赵构对武将的猜忌也不免越来越深，使他更加不敢轻信武将，这又直接影响到他对敌的态度，因杀父之仇而带来的那点热情至此彻底熄灭，“宁赠友邦、不与家奴”的观念从此伴他一生。
淮西之变本来是一场不该发生的事变，可是不但发生了，后果又是这样的严重，那么作为这场事变的最大责任人张浚显然是难逃其责，罢相已成定局，张浚本人也是在得知此事的当天，就主动上表辞职，请求解除宰相及都督诸路军马的职务。事情闹成这样，赵构自然不会对他挽留，于是张浚遭弃用，并从此阔别南宋政坛长达二十余年。
张浚落得这样的下场，应该说也是咎由自取，尽管张浚是宋人心目中公认的中兴名相，但观其一生，实在是看不出他有什么过人之处，比如说在本次事件中，他建议罢掉刘光世兵权本来并没有错误，可惜却在后期调度中一错再错，最终激起了事变，给国家造成了极大的损失。而在张浚之外，其实还有两个人应该对淮西之变负主要责任，一个就是宋高宗赵构，如果他能按照原计划将淮西军交给岳飞，显然就不会出现这样的问题了，但专制社会，皇帝就是真理，自然就不用负责了。而另一个应该对此事负责的人就是秦桧，秦桧作为张浚那一届政府中的枢密使，几乎参与本次事件的全过程，按理说罪不容赦，可是由于他行事诡秘，凡事都把张浚推到第一线，自己隐藏的非常深，因此不但没有受到牵连，反而有了因祸得福的可能。