由于连年战乱和饥荒，燕云地区出现了大量流民，陆续流入宋朝，他们基本上都属于“归朝人”身份，符合招兵条件。于是，他们纷纷前来报名，加入到义胜军队伍中来。义胜军的优厚待遇，甚至还吸引了不少常胜军士兵偷偷跑来入伍。郭药师对义胜军的建立很是不满，自己队伍中不断有人偷偷前去投奔，这让他很生气。为避免越来越多的士兵离开常胜军队伍，他下令，在常胜军所有士兵的脸上加刻一个常胜军的标记。这个做法，更是引起士兵们的强烈不满，弄得人人抱怨，军心很不稳定。

常胜军主要由三部分人组成：一是原辽国东京道汉人，二是渤海人，三是原南京道汉人。而义胜军成分比较单一，主要是由燕云地区汉人所组成。

对于义胜军的优厚待遇，不仅常胜军不满，宋朝官军也大为不满。当时，根据朝廷政策，义胜军的月粮和服装是官军的两倍。而且，官军吃陈粮，义胜军吃新粮。官军的干部战士们，心里都很不平衡。

燕云汉人作为“归朝人”，他们在宋军官兵眼中仍然是“番人”，是“汉儿”。官军士兵路上遇见义胜军士兵，经常辱骂道：“汝番人而食新，我官军也而食陈，吾不如番人也？吾诛汝矣！”

义胜军士兵们听到这些话，皆恐惧不安。

宋军官兵经常当面以“番人”来辱骂燕云汉人，从来不把他们看成是同族人，认为他们是“非我族类”。这样的结果是什么呢？结果就是，燕云汉人无法从宋人这里找到认同，他们必然“其心益贰，俟衅且发”。在后来爆发的宋金战争中，他们纷纷背叛宋朝，投降金军，也就不是偶然现象，也就不令人感到奇怪了。

不仅是宋军官兵对燕云汉人态度很不友好，就是宋朝普通老百姓，对燕云汉人也很不尊重，也视他们为“番人”。宋朝朝廷对待燕云汉人的态度，其实也很暧昧，既猜忌他们，不信任他们，又想拉拢他们，利用他们。

在这样的历史背景和社会基础上，燕云汉人对待宋朝的态度，也必然很复杂。特别是在辽国覆亡之后，他们有的向往宋朝，有的怨恨宋朝，有的刚开始对宋朝抱有希望，但后来转为失望，甚至绝望。

其实，无论是常胜军，还是义胜军，他们从上到下，从军官到士兵，对宋朝都没有什么深厚的感情。他们自认为是辽国人，因为辽国已亡，他们是在万般无奈之下，才投靠宋朝。可是，宋朝人却不断嘲弄他们，侮辱他们，对他们的汉人身份不予认同，这必将导致他们心理失衡，使得他们的立场与观念极不稳定。历史条件造就了他们，他们如同无根的墙头草，只能随风而摇摆。

然而，宋徽宗与他的大臣们，对国际政治缺乏深刻认识，缺乏充分论证。他们竟甘愿花掉大量军费，培养常胜军与义胜军，希望依靠常胜军与义胜军这样的军队，来保卫大宋北部边疆。一旦边境爆发战争，义胜军与常胜军这样的军队，他们能为保卫宋朝而拼死战斗吗？

宋朝收复燕山地区后，在政策上存在着诸多致命缺陷，归根结底是不得燕山民众之心。当时，有个名叫许采的宋人总结说：“失燕人心者有三：一换官，二授田，三盐法。换官失士人心，授田失百姓心，盐法并失士人百姓心。”

宋朝采取“换官”政策，目的是笼络燕云地区的上层汉人，巩固宋朝在这一地区的统治。这个政策也从另一方面反映出，宋朝对燕云上层汉人是不信任的。不然，为什么不让他们留在燕京继续为官呢？“换官”带来的结果是，燕山地区许多上层汉人都投向了金人。可是，这并没引起宋徽宗与大臣们的注意。

“授田”政策的危害最为明显，燕山府主要负责人王安中已经注意到了，但要彻底解决，难度的确很大，因为郭药师与常胜军是这一政策的既得利益者，他们肯定是要阻挠的。

最直接丧失民心的，便是“盐法”。辽国后期，燕云地区的税负并不重，老百姓的经济负担普遍比较轻。宋朝接管燕京地区后，在此实行和内地一样，甚至价格更高的官盐制度。“旧虏中，每贯四百文，得盐一百二十斤。提举官都不念新附之民，贪功生事，每斤至二百五十文足，或二百八十文足”。如此高的盐价，如此大的政策反差，岂能不民心尽失？