二月初七，宋钦宗见康王赵构还没回来，于是令肃王赵枢动身去往金军。秘书省著作佐郎沈晦，以给事中身份，携带着誓约文书，以及太原、中山、河间三府的地图，伴随肃王同行。沈晦是宣和六年（1124）状元，他是北宋最后一名状元。宋钦宗又让沈晦给斡离不捎去一封短信，信中说：
“今令弟肃王前去，可谅诚悫之情。然念康王留军中，今将一月，朝夕忧念，未尝少宁。虽皇子郎君义同一家，必垂顾恤，奈手足之爱，同气之亲，一日不见，实有三秋之念。敢望仁慈，候肃王到日，便令康王回归，以慰兹寤寐注想之怀。”
宋钦宗在焦虑不安中又等了一天，到二月初九，康王赵构还没被送回来。宋钦宗有些着急，于是，再派遣宇文虚中与王俅前往金营，专门迎接康王。
此时，斡离不正在秘密准备着撤军，原来打算撤军时将康王赵构一起带走。现在见宋钦宗多次催促，于是决定送回去。斡离不命耶律忠护送康王赵构，与宇文虚中一道回城，并让耶律忠也捎给宋钦宗一封短信：
“使者来谕，请送康王，备聆圣心怀注之切，今如命遣送前去。缘以康王久留军中，谨赠金一万铤，聊用压惊，式表微意。”
京城百姓们听说康王赵构今天从金营回城，于是纷纷走出家门，在路边自动站成长长的队伍，争相迎接与观看。
康王赵构是正月十四离京，去往金军做人质的，直到二月初九才回城。在这二十多天里，他亲眼见识了金军的凶悍与残暴，亲身经历了生与死的考验。刚开始主动请求去金军时，他对人质的危险性或许并没有多少认识。现在，离开金军回城，心里不禁感慨万千，庆幸自己总算是死里逃生。他不知道金人为什么要放自己回城，为什么要让五哥肃王前去接替自己。他更不知道，肃王赵枢这次一去，可谓一去而永不返也。
金军驻扎在东京城外已经一个月了。尽管他们没有攻破东京城池，但割地赔款的战争目的已经达到。在得到宋钦宗割让三镇的诏书与地图，以及肃王来军中做人质之后，斡离不决定撤军。虽然宋朝尚有大量金帛还未缴清，但斡离不权衡目前形势，认为不能再等下去了。根据探报，宋朝仍有不少勤王兵马，正继续往京城赶来。而粘罕的西路大军，短时间内也不可能赶来城下回师。
二月初九这天，在送走康王赵构之后，斡离不派邠门使韩光裔进城，专门入宫向宋钦宗致朝辞之礼。斡离不的辞别书如下：
“大金皇子、都经略处置使、两路都统斡喇布等谨上书于大宋皇帝阙下：
昨日受命专征，以太上皇渝盟是问。灵旗南向，直抵京城。伏承皇帝嗣位，再请修好，遂酌中计议，著定盟约。不料贵朝奸臣误国，妄起衅端，于是本司实怀疑愤。后蒙宸翰，谕以孤危哀痛之诚，复遣同气近姻做质，深谅大信，克保有终。自大军之来，资索颇多。事在不已，固非乐为。窃惟兵火一纵，收之实难，自非皇帝仁明违略，屈己爱民，安能使此祸危翻然为福？今大计已定，而后无以旧事为念，惟其永惇诚义，共保生灵。昨日承所赐书，书内谓越王以叔父之尊，平日奉事，姚平仲死于铎镝，李纲止从贬责，其余宰执，近间求退、罢免者甚众。城中军民不遵号令，实恐转生变乱，以贻圣忧。本司为安定贵朝社稷，永固和好，遂令城下诸军退保旧寨，即日班师。
伏念陛下即位之初，必欲推恩布泽，以悦众志，特于原定赏军物内，减金一万铤、银一十万铤、表一十万段，以充振乏广施之用。其余金帛头匹，望于今年逐月接续交送。”
宋钦宗见金人这次真要撤军了，心头大喜，立即特派开封府少尹王时雍等人，携带茶果、龙脑、酒、药等多种礼物，赶赴金营赐宴。
同日，斡离不还派遣团练使贾霆入城，专门向康王赵构话别。赵构不敢单独与贾霆相见，立即向宋钦宗做了汇报。宋钦宗命人将贾霆领入宫中，让他们在宫中相见。
贾霆入宫后，对康王赵构说：“康王留军中近一月，皇子郎君曾数次与你一同观看蹴踘杂伎，对你留有深刻印象，故特来告辞。”
康王赵构笑了笑说：“皇子郎君不仅能统帅千军万马，对于蹴踘杂伎也是行家。”
宋钦宗对康王赵构说：“贤弟可解下犀带，以为赠别。”
康王赵构遵命，将腰带解下来交给贾霆，让贾霆拿回去送给皇子郎君。
四十六、政令不一
斡离不在正式撤军之前，曾经先派出一个由十七名骑兵组成的团队，疾驰回国报信。当这十七名骑兵途经磁州（今河北磁县）时，遭到河北路兵马钤辖李侃率兵拦截。
此时，李侃还不知道朝廷已与金人议和。此前他曾接到过皇上的“掩杀之旨”。所谓“掩杀之旨”，是金兵初抵京师时，宋钦宗给河北诸州军下达的诏书，书中说：“种师道、姚平仲远提西兵而来，以助天讨，深恐金人宵遁，特令河北诸州军遇金人尽行掩杀。”
李侃认为自己身为兵官，岂能遇敌而退缩？于是，率领由禁军与民兵组成的大约两千人的队伍，冲上前去，将这十七名金人骑兵团团包围。
一个金兵头领掏出金军与宋朝的和议书，说：“不要用兵！今城下已讲和矣，我乃被太子郎君差往国中干事。”
李侃不相信议和，不肯下令撤围。
面对两千多宋军的围攻，这十七名金兵竟毫不畏惧，他们迅速散开，分为三组，摆出战斗队形：“以七骑居前，各分五骑为左右翼。”一看这阵势就知道，这些金兵战斗经验很丰富，而且早有作战思想准备。
前边七名骑兵驰马前进，向宋军迎头发起冲锋。宋军没料到这些金人竟敢迎面而上，于是后退。这时，左右两翼的金兵突然乘势掩杀而来。他们一边驰马飞跑，一边不停地朝宋军弯弓射击。
宋军虽然人数众多，但并未经过严格训练，又主要是由步兵构成，根本抵挡不住飕飕而来的骏马的冲撞，和纷飞的箭雨，队伍顿时大乱，四处抱头鼠窜。
一般而言，在平原上进行野战，在兵力相当的情况下，步兵如果没有防护工事，单纯依靠血肉之躯，的确是很难阻挡骑兵铁蹄的。但是，用两千名步兵阻挡十七名骑兵，这恐怕不需要什么防护工事吧？
现在，斡离不很清楚，有些将领担心退兵时遭到宋军追杀，担心途中遭到宋军伏击。因为金军毕竟是孤军深入，孤立无援，千里奔袭，孤军奋战。为稳定军心，凝聚力量，撤军前夕，斡离不曾专门召开了一次会议，研究退军可能遇到的各种问题，并制定详尽的应对方案。
斡离不胸有成竹地说：“大家担心退军途中会遭遇危险，是不是？我认为没有什么好担心的。只要我们行动迅速，加强戒备，我们来去都是自由的。他们南朝人即使想沿途阻击，我估计商量也得商量一个来月，才可能有定议。而这时候，我们早已安全回到燕京了。”
斡离不似乎对宋朝高层决策流程很了解，他要求全军快速行动，抢在宋朝军事部署完成之前脱离险境。同时，为防备宋军追击，斡离不还下令：“行军队形进行调整：将战果玉帛子女等置于中军，用战斗力一般的队伍护卫，负责防御的队伍安排在左右两翼，负责进攻的精锐骑兵殿后。”
二月十一日，金军正式拔寨退兵。肃王赵枢、太宰张邦昌等与他们同行。金军骑兵主力走在最后，他们按辔徐行，毫无惧色。
此时，宋钦宗正与大臣们在延和殿里开会，商议下一步的政策。吴敏首先提议，恢复李邦彦的太宰职务。理由是，张邦昌虽然担任太宰，但他仍留在金营做人质，无法处理政事。吴敏说：“太宰与少宰，现在这两个宰相之职皆虚位，对于处理政务很不适当。”
李邦彦是宋徽宗曾经宠信的大臣之一。目前，凡是宋徽宗曾经宠信的大臣，如所谓“六贼”，不是被贬，就是被杀，仍然在朝为官并身居高位的，只有李邦彦一人。李邦彦现在在民间的名声，已经很臭。这些情况，吴敏应该都是清楚的。可是，吴敏为什么偏要在这时提议恢复其太宰职务呢？其用意很明显，另有所图。吴敏心里以为，皇上不可能恢复李邦彦的职务，因为陈东伏阙上书才过去没几天，宋钦宗不可能这么快就忘了。其实，是吴敏想当太宰或少宰，但他不便明讲，试图通过曲线来达到目的。
宋朝的大臣，外斗是外行，内斗却是内行。
吴敏为什么不举荐李纲担任太宰或少宰呢？吴敏曾经很欣赏李纲的才能，曾极力向宋徽宗举荐过李纲。那么现在，为什么又建言重新起用李邦彦呢？他明知李邦彦与李纲水火不容。如此看来，吴敏已与李纲在政见上出现了严重分歧。