到陈后主祯明二年（隋文帝开皇八年，公元588年），陈后主对吏部尚书蔡征、袁宪说出自己将要废黜陈胤、另立陈深的打算，蔡征见风使舵，表示同意，而袁宪却极力反对，说道：“皇太子是国家的储君，万民归心，你蔡征又是什么人，胆敢轻易谈论废立大事！”但陈叔宝主意已定，六月三日，下令废太子陈胤为吴兴王，立扬州刺史、始安王陈深为太子。陈深从个人品格上似乎比陈胤要好一些，他也非常聪慧，长得相貌堂堂，举止庄重，即使是身边侍从也从未见过他狂喜或者发过火。陈叔宝听说袁宪曾经劝谏过陈胤，当天就提拔他为尚书仆射。
陈胤被废后，陈后主又想废掉沈皇后，改立张丽华为皇后，但还没来得及实施，陈国就灭亡了。
当陈叔宝还在温柔乡里继续做着他的春秋大梦时，隋文帝杨坚已将利爪伸向了江南。从陈后主祯明元年（隋文帝开皇七年，公元587年）开始，隋朝周边局势持续向好：吐谷浑内乱不止，突厥又四分五裂。这一年年初，沙钵略可汗就去世了，因儿子雍虞闾懦弱，沙钵略可汗临死前将汗位传给了一直以来他心存猜忌的弟弟、叶护（即太子）处罗侯。雍虞闾派人前去迎接处罗侯，处罗侯却说：“我突厥从木杆可汗以来，大多以弟弟接替兄长的汗位，以旁支夺去嫡系的继承权，这失去了先祖们的继承办法，大小可汗之间不相敬畏。你理应继承汗位，我不会拒绝服从你的！”雍虞闾说：“叔父和我的父亲是大树的躯干，同根连体，而我不过是树的枝叶，岂能让树干顺从枝叶、让叔父屈从我这个后辈呢！况且，又有亡父之命，岂能违背！请叔父不必多虑！”使者在双方之间穿梭多次，最终，处罗侯才答应即位，号称莫何可汗，以雍虞闾为叶护，并派人向隋朝说明原委。
隋朝派车骑将军长孙晟持节前往汗国，承认了莫何可汗的正统性，并赏赐给他鼓乐、旗帜。莫何可汗处罗侯骁勇善战，又足智多谋，他携带隋朝的旗帜率军西击阿波可汗大逻便；阿波可汗的部众看到隋朝的旗帜，认为隋军也参战了，纷纷望风溃散。不久，莫何可汗就生擒了阿波可汗，上书隋朝指示该如何处理。
隋文帝让群臣商议对策。乐安公元谐建议派人前往突厥，就地将阿波可汗斩首；武阳公李充请求将阿波可汗押送到长安，斩首示众。隋文帝征求长孙晟的意见，长孙晟回答：“假设阿波可汗背信弃义，当然应将其正法，如今，是他们兄弟之间相互吞并，阿波可汗并没有辜负我们。趁其走投无路，却将其取来诛杀，这恐怕不是招徕远方的良策。不如让阿波可汗和莫何可汗都共生共存的好。”高颎也说：“骨肉相残，这是教化的蠹虫，应让他存活下去，以示宽大。”隋文帝听从了。不久，莫何可汗在西征途中中箭身亡，突厥部众又推举摄图之子雍虞闾为可汗，号称都蓝可汗。
北方安定之后，隋文帝就将目光转向了江南。由近及远，他先处理残存的后梁政权。
过去，后梁虽然名为一国，但北周朝廷在江陵设置有江陵总管，后梁的军政大权全在北周的江陵总管手里。在尉迟迥之乱中，后梁与北周中央（即杨坚集团）保持一致，杨坚篡位后，对此非常感激，就撤销了江陵总管。开皇二年（公元582年），刚刚即位的隋文帝又为二儿子、晋王杨广娶了后梁明帝萧岿的女儿萧氏为妻，两家结成了亲家。萧氏就是后来隋炀帝的萧皇后，她是萧衍的曾孙女，世系如下：萧衍——萧统——萧察——萧岿——萧氏。一段时期，隋文帝还曾打算把自己最心爱的第五女兰陵公主嫁给萧岿的儿子萧玚，但此事因故没有结果，兰陵公主遂嫁给了王谊之子王奉孝。
到开皇五年（公元585年）六月，当突厥沙钵略可汗正被阿波可汗逼得走投无路、向隋文帝求援之时，后梁明帝萧岿也去世了，共在位二十四年。萧岿去世后，他的儿子萧琮即位，是为后梁后主。萧琮宽和仁爱，文武双全，他即位后，也想有所作为，当年即派大将军戚昕率领水军偷袭南陈的公丨安丨，但却没有成功。隋文帝见萧琮不是一个无能之主，遂采取釜底抽薪的办法，先征召萧琮的叔父、太尉吴王萧岑入朝，拜为大将军，封怀义公，将其扣留到了长安；又下令在江陵恢复了江陵总管，监视后梁的动向。
萧琮即位一年后，就到了南陈后主祯明元年，此时，突厥沙钵略可汗也去世了，莫何可汗处罗侯即位，消灭了阿波可汗大逻便，突厥对隋朝的威胁已基本消除。同年八月，隋文帝又故伎重演，征召后梁后主萧琮入朝。萧琮率领后梁群臣二百余人从江陵出发，十八日，萧琮一行来到了长安。
等萧琮君臣前脚离开江陵，隋文帝立马派武乡公崔弘度率军“协防”江陵。隋军来到鄀州（今湖北省宜城市），后梁后主萧琮的叔父、太傅安平王萧岩、弟弟荆州刺史义兴王萧瓛（huan）等人担心隋军袭占江陵，遂于同月十三日派遣都官尚书沈君公前往南陈荆州刺史陈慧纪出请求归降。九月二十八日，陈慧纪率领陈军来到江陵城下。十九日，萧岩等人率领后梁军民十余万人投奔了南陈。萧岩是明帝萧岿的弟弟，他的孙子萧铣（即隋炀帝萧皇后的堂侄）在隋末大乱中趁势起兵，占领了今湖北省、湖南省、江西省、广东省等大片土地，自称梁王，后被唐军消灭。
隋文帝听说后，即废除了后梁帝国，派尚书左仆射高颎前去安抚江陵遗民，各派十户百姓负责守护后梁宣帝萧察、明帝萧岿的坟墓；拜后梁后主萧琮为柱国，赐爵莒公。南梁帝国从梁元帝萧绎死后，又延续了三十六年，至此灭亡。