杨玄感先礼后兵。
内史舍人韦福嗣是韦洸的侄儿，随军出城抵御义军，战败后被杨玄感所俘。杨玄感对他十分看重，命他与同党胡师一起负责军中文书，并给樊子盖写了一封劝降信，但樊子盖不降。樊子盖他命韦福嗣给杨玄感率领部队全力攻城，樊子盖在城内随机应变，死死据守，杨玄感无法攻克洛阳。但由于樊子盖杀死了裴弘策，一些本来是响应政府号召前来投军的贵族子弟们反而投靠了杨玄感，这些人就包括韩擒虎的儿子韩世谔、观王杨雄的儿子杨恭道、虞世基的儿子虞柔、来护儿的儿子来渊、裴蕴的儿子裴爽、大理卿郑善国的儿子郑俨、周罗睺的儿子周仲等四十多人，杨玄感全部都委以重任。
留守长安的元德太子杨昭的长子、代王杨侑（you）命令刑部尚书卫玄率领四万人马东下，救援东都洛阳。卫玄率军来到华阴，挖开了杨素的坟墓，焚烧了他的尸骨，向士兵们显示与杨玄感不共戴天的决心，而后，一路杀出崤山、渑池，直奔洛阳。杨玄感得知后，赶忙分兵抵御，卫玄且战且行，一直进抵洛阳西郊的金谷（今河南省新安县东）。
杨玄感造反的消息也传到了辽东。
老天似乎在给隋炀帝开了一个天大的笑话。看着眼前即将到手的辽东城，刚才还沉浸在喜悦之中的隋炀帝一下子跌到了冰点，顿时非常担心，他赶忙把纳言苏威召入帐中，悄悄将此事告诉给了他，说道：“这家伙聪明，难保不会造成后悔吧？”苏威回答：“能够明白是非，洞察成败，这才叫聪明。杨玄感是个粗人，思路并不缜密，无须多虑。我只担心此人来这一下子会在全国诱发出更大的动乱啊！”隋炀帝又听说朝廷群臣的子弟都在杨玄感的营中，又担心起来。兵部侍郎斛斯政素来与杨玄感私交很好，段文振生前就曾告诫过隋炀帝斛斯政此人不可信，但隋炀帝没有听信，当杨玄感谋反时，斛斯政与他通谋，有意将杨玄纵兄弟放走了；此时，隋炀帝下令要彻查此事，斛斯政内心不安，六月二十六日，斛斯政潜逃到了高丽。
六月二十八日深夜，隋炀帝秘密召集各军将领，命令他们趁夜撤军，粮食物资、铠甲兵器、攻城器具等都堆积如山，各军的营帐、工事也都保持原状，一动不动，全部扔掉。隋军各部队接到命令后，都不知道发生了什么事情，人心惶惶，军心大乱，一窝蜂地向后方撤去。高丽人当晚就发现了这一异常情况，但他们也不知就里，也不敢贸然出城追击，只是在城内呐喊，一直到第二天中午时分，城内的高丽人才敢小心翼翼地走出城外，四处打探，仍然怀疑是隋军故意设的圈套。又过了两天，高丽人这才出动了数千人马尾随在隋军后面，但又惧怕隋军人数众多，不敢接近，常与隋军大军相距八九十里那么远；快到辽水东岸时，高丽人侦查到隋炀帝的御营已经全部渡过去了，才敢逼近隋军后卫部队。隋炀帝命令右武卫大将军李景率军殿后，当时，隋军后卫尚有数万人马，高丽人从四面八方进行袭击，李景指挥隋军将敌人击退，只有落在最后的数千名老弱士兵被高丽人杀死或俘虏。
撤军途中的隋炀帝问太史令庾质道：“爱卿前不久劝阻我亲征，原来就是为此啊！你说玄感能成事么？”庾质回答：“玄感虽然地位很高，但一直并不得人心，他趁着百姓们劳苦而希望能侥幸成功。如今天下一家，他是难以得逞的。”
隋炀帝下令左翊卫大将军宇文述、左候卫将军屈突通等人乘坐驿马快车前往各地调派军队，前去讨伐杨玄感；又派遣虎贲郎将陈稜进攻驻守黎阳的叛军将领元务本，接着，隋炀帝又下诏命令各地征发百姓修筑城池，以备叛军来犯。来护儿行至东莱，听说杨玄感污蔑自己谋反，立即召集部将商议讨伐事宜，众将都觉得没有接到朝廷的诏书，不宜擅自回师，固执不从。来护儿厉声吼道：“洛阳被围，这是心腹大患！高丽抗命，那是皮肤小病！国家之事，我们既然明白了该怎么做，那就去做！擅自行动的责任，由我来负！与你们无关！有胆敢抗命者，格杀勿论！”当天来护儿就率军返程了，同时，他派儿子来弘、来整飞马北上，向隋炀帝报告。当来弘、来整二人来到涿郡时，隋炀帝已经下令来护儿回救洛阳了，他见到二人非常高兴，下诏给来护儿说：“你回师那天，与我给你下命令让你返回是同一天，我们君臣之间虽然远隔千里，但却心心相印，关系竟如此亲密！”
右武候大将军李子雄因事被除名，这次辽东之役，隋炀帝命其在来护儿军中将功补过。李子雄之所以能飞黄腾达，与他在汉王杨谅之乱中设计生擒幽州刺史窦抗有一定关系，而当初把他推荐给隋炀帝的正是杨素，因此，李子雄与杨素家应该有着很深的渊源。杨玄感叛乱以后，隋炀帝就怀疑李子雄与杨玄感是同伙，下诏在来护儿军中将李子雄逮捕，送往涿郡。途中，李子雄杀掉押运人，逃归了杨玄感。
卫玄率领两万步骑渡过瀍水、涧水挑战，杨玄感假装战败，向后撤退。卫玄率军追击，谁知，杨玄感早已在后面设下伏兵，等卫玄的军队进入伏击圈后，伏兵尽发，卫玄的前军全部被歼。又过了几天，卫玄与杨玄感再度交手，双方刚一接战，杨玄感就命人大喊道：“官军已经抓住杨玄感了！”卫玄的军队一听，陡然懈怠下来。就在卫玄军队走神的一刹那，杨玄感突然率领数千精锐骑兵杀来，大破卫玄军，卫玄只得率领八千多人逃出战场。杨玄感骁勇善战，武艺超群，每次战斗总是亲握长矛，身先士卒，他又善于安抚士卒，将士们都愿意替他卖命，因此，在与卫玄的交战中，杨玄感是屡战屡胜，声势更盛，前来投靠的人也越来越多，很快就猛增到了十万人。卫玄众寡不敌，又死伤了一大半，军粮也已吃完，他把牙关一咬，将全军全部开到邙山山上，置之死地，决心与杨玄感决一死战。两军就在邙山山麓展开了你死我活的激战，一天之内能交手十几回合。在激战中，杨玄感的弟弟杨玄挺被卫玄军的流箭射死，杨玄感军队进攻的势头才稍稍被压制了下来。