由于先前吃过数次败仗,宋太宗在诸将出发前,嘱诫他们"持重缓行,毋贪小利以要敌."不久,宋军诸路捷报继至,宋太宗不喜反忧,深恐契丹军会乘间断阻宋军补给线.忧虑成真.曹彬十万大军在涿州呆了仅仅十几天,就吃尽了军粮,"乃退师雄州以援供馈."宋太宗闻报,大骇:"岂有敌军在前不顾而退军待军粮的道理!"他忙遣使制止曹彬,并告诫曹彬不要再向前进军,率军沿白沟河与米信宋军会兵,"按兵蓄锐以张西师之势."宋太宗本意很好,想等潘美等人尽得山后土地之后,田重进再东下与曹彬、米信会合,全师制敌,与契丹大军决战.
但是,曹彬统下诸将听说潘美、田重进等部连战连捷,深耻己军无功,"谋画蜂起,更相矛盾".老将曹彬一进也没了主心骨,便顺从诸将之意,"乃裹五日粮,再往攻涿州."
当时,辽朝萧太后、韩德让、辽圣宗等人在涿州东五十里的地方扎下御营,听闻宋军来击,便遣耶律休哥轻兵疾行,阻击宋军.宋军边急行军边迎战,路上足足用了四天时间,才得以进达至涿州."时方炎暑,军士疾乏,所赉粮不继."无法,宋军得城不能坚守,又弃之而去.
曹彬先遣人率涿州百姓退走,他自己率大军殿后.由于人多兵疲,缺粮少水,宋军战斗力极度下降,连个象样的殿后军阵都组织不起来.耶律休哥率辽朝生力骑兵一路尾随,边杀边追,边追边杀,一直追到歧沟关,辽军发动总进攻,宋军大败.曹彬收拾残兵,连夜抢渡拒马河,于易山南岸扎营,准备休整一下喘口气.幸亏宋将李继宣死战,使得小股宋军逃得活命.但是,数万宋军,或被杀,或掉入河中溺死,或被俘,损失巨大,"为辽师冲击死者数万人,沙河为之不流,弃戈甲若丘陵".
辽军战后打扫战场,耶律休哥"收宋（军）尸以为京观".辽朝上下大喜,进封耶律休哥为宋国王.
宋太宗闻军败,愤恨不已,深责众将,认为这些人"不遵成算,各骋所见,领十万甲士出塞逼斗",最终"往复劳弊,为敌所乘".所以,曹彬、米信等人回朝后,皆被贬官.
由于东路主力大败,宋太宗合围幽州的战略意图再难实现.辽朝方面开始反扑,耶律斜轸统十万大军赶至安定西,与宋朝雄州知州贺令图相遇,双方大战,宋军又败,被杀一万多人.辽军乘胜攻陷蔚州、寰州等地.深知西路军已经无望,宋太宗下诏指示潘美,让他与杨业一起引兵护送云、朔、寰、应四州百姓内迁.
得知辽军已攻陷寰州,杨业建议应避辽军锋锐,分兵应州以诱辽军主力,然后以千名强弩手扼守石竭谷口（今山西朔州附近）,以保全数州军民安全.
潘美沉吟,但时为监军的蔚州刺史王侁大表异议,讥讽杨业:"领数万精兵,而怯懦如此!"他认为宋军应急趁雁门北川,"鼓行而往马邑."潘美不表态,宋将刘文裕等人却附和.杨业百战边将,深悉敌情,力争道:"这样做绝对不行,一定会打败仗!"
王侁冷笑:"您一直号称‘杨无敌’,现在敌军在前,却逗留不进,莫非杨公有什么异志?"
杨业性直气刚,闻言嗔目大怒:"我杨业非畏死之人,只是现在非进攻时机,白白杀伤士卒,肯定不见成功.既然诸君怕我不死,我先带兵杀敌表个态!"于是,杨业率兵从大石路直趋朔州.
临行,杨业向主师潘美泣诉:"此行肯定不利.我杨业本太原降将,主上施恩不杀,待以上将,我一直想立大功报恩.现诸君责我避敌怯懦,我杨业一定战死沙场以自明!"杨业伸手,指着陈家谷口(今山西宁武)说:"希望诸君能在谷口两边埋伏下强弩手,等我率兵转战至此,诸位以强弩射敌,突出夹击敌人,否则的话,我所率兵士肯定会被杀尽."潘美觉得杨业很有道理,立即指挥诸将在谷口设伏. 耶律斜轸接到情报,得知杨业率宋军前来搏战,忙派副将在路边埋伏精兵,他本人拥众近前,假装要与杨业接战.两军甫交,耶律斜轸即假装不支,掉转马头就跑.此时,一心想杀敌求死的杨业早已置生死于度外,明知辽军是圈套,硬着头皮往上冲.果然,辽军伏兵四起,宋军被围截在当地陷于苦战,耶律斜轸掉转马头,麾兵又杀个回马枪.宋军大败,退至狼牙村.
陈家谷口方面,宋将王侁干等了几个时辰也得不到杨业的军讯,派人登高远望,看不见任何辽军足迹,他认定辽兵败走,"欲争其功,即引兵离谷口".潘美见王侁军没打招呼就走,无奈之余,也领军沿灰河往西南行进.不久,听闻杨业军败,潘美为保存实力,马上挥兵后撤.至此,陈家谷口已无宋军一兵一卒把守,更甭提什么弩手埋伏了.
杨业一路力战,自中午杀到傍晚,最终撤退到陈家谷口.看见谷口两边根本没有人影,杨业"拊膺大恸."当时,他见手下还剩士卒百余人,便说:"汝等各有父母妻子,不要与我一起俱死!"但军士们皆为杨业忠义所激,无一人逃走,誓与俱死.杨业儿子杨延玉与岳州刺史王贵俱战斗而死.王贵七十三岁老将,为辽兵重围,援弓射杀数十人,矢尽,张空拳犹击杀数名辽国壮汉,最终被乱枪捅死.很快,杨业坐骑因连中枪刀,不支继续奔跑,老英雄再不能往来驰突数敌,便往密林中匿避,准备乘乱逃出,再伺机杀敌.不料,紧追不舍的辽将远远望见杨业袍影,张弓一箭,射中杨业.辽兵涌上,生擒了这位英雄.
杨业长叹:"皇上对我恩遇如山,本想捍贼立功,反为奸臣所嫉,逼令赴死,致使王师败绩,我还有何面目活在世上!"于是,被俘之后,杨业绝食三日,不屈而死.杨业对得起宋太宗,宋太宗其实也对得起杨业.平灭北汉后,宋太祖收到不少讲杨业要反叛的"情报",皆密封后派人转送杨业,以示不疑之心,把杨业感动得一塌糊涂.如此,不死也难.至于潘美,与杨业多年正副关系,似乎没有特别的过节和隔阂,雁门之战二人还配合得当,共立大功.如果说有"坏人",王侁倒真算一个.其实,王侁是后周功臣王朴（给周世宗出"先南后北"战略的那位爷）的儿子,曾在宋初的对南唐征战中立功不少,还曾率军大破河西三族首领的叛乱,因军功领蔚州刺史. 杨业死讯传至宋廷,宋太宗"痛惜",削潘美三级,把王侁除名流金州,刘文裕除名流登州.此时,潘美也是六十六岁的老将,转年虽官复原职,仍旧悒悒不乐,数月而卒.虽然老潘生前没有什么特别对不起老杨的地方,陈家谷口也是王侁先离开而致使缺守,潘老日后被评书艺人丑化成奸邪嫉功的大坏蛋,也真是他始料不及. 《宋史》传中,潘美与曹彬同传,处于列传第十七的位置,不仅仅是这两个人都生了个皇后女儿,更因为"二人皆谥武惠,皆与配飨,两家子孙,皆能树立,享富贵",但是,如无平岭表、定江南、征太原、镇北门的大功,潘美万万不能被编于如此重要的传记位置.反观杨业,其名仅在列传三十一,排名差了许多.作为同时代的良将,对于宋朝的功劳,杨业比潘美还真的差许多.但是,劳动人民的嘴太厉害,经过评书、戏剧渲染,现在很少有人知道潘美功绩,只知道"杨家将"的事迹.
杨业有七个儿子,除杨延玉战死外,还有杨延昭（本名杨延朗）、杨延浦、杨延训、杨延瑰、杨延贵、杨延斌.其中,杨延昭最知名,一直在边地抵捍契丹."在边防二十年,契丹惧之,目为杨六郎."至于契丹人为什么称杨业长子为杨六郎,殊不可解.（如果是大排行,也不见宋人如此称呼他,辽人也不像汉人爱以大排行称呼别人.现在有学者认为古代往往以天上的星宿比拟世间有本事的人.辽朝称宋为南朝、南国,所以夸赞杨延昭为南斗.南斗六星在宋朝初期是习惯用语.这样,久而久之,就直呼为六郎了,这种称呼与辽人称杨业被称为杨无敌是同一意义.此外,《太平御览》卷六引《大象列星图》云:"北斗六星中的第六星主燕."燕地当时是辽国所在之地,而杨延昭镇守河北正是为了对付辽国,契丹人惧怕他,因而把他比喻为镇慑本国的大星.以后杨延朗的"朗"字渐渐演化为"郎",于是就称他为杨六郎了.种种说法,都有牵强之嫌）.杨延昭死年五十七.其子杨文广也是将门出将,曾随狄青南征,后又被委派至泾州、镇州为将.但杨文广三十岁左右即病死,英年早逝.至于评书、戏曲中所讲的佘太君、穆桂英和诸位"杨门女将",史无所载,全属文艺"创作".有一点值得一提,文艺作品中一直与杨家将为敌的萧太后,正是杨业被杀时的辽国实际统治者萧绰（小名燕燕）萧太后.
年底,耶律休哥又在望都大败宋军数万人.雄州刺史贺令图是力催宋太宗北伐的首谋之一,此人本性"贪功生事,轻而无谋".耶律休哥派人持秘信见贺令图,骗他说:"我因功高震主,获敌罪于上,愿投附宋朝".如此伎俩,小孩子都骗不过,贺令图偏偏相信,派人赠送耶律休哥贵重礼品.看见此鱼上钩,耶律休哥在军中放方言:"愿得见雄州贺使君!"傻不拉叽的贺令图闻言,忙率部下数千精骑,出城"迎降".辽军大营洞开,贺令图一行通行无阻,行至主师帐前,贺令图下马,只见耶律休哥斜据胡床,指着他大骂:"你一直好称 善于经营边事,今天竟能亲来送死!"于是,尽遣猛士上前,杀尽贺令图左右随骑,把这位贺知州当成"战利品"押回辽国.