公元420年，刘裕建立刘宋王朝以后，除了加封西秦乞伏炽磐安西大将军以外，还同时加封了西凉李歆为征西大将军，高句丽王高琏为征东大将军，百济王扶余映为镇东大将军，唯独没有晋封北凉的沮渠蒙逊，这当然是刘裕对沮渠蒙逊对自己占领长安后的态度有所耳闻。不过，没有刘宋的封号，丝毫不影响沮渠蒙逊按照中原政权的模式进行政权建设，当时，北凉的臣下上书称，北凉创建以来，一直战事频仍，朝廷制度很不规范，以至于臣下在家中签发文书，或者对各地的奏章看后不置可否，而对此君主也无可无不可，造成群臣得过且过，做一天和尚撞一天钟。于是，沮渠蒙逊下令让归顺的原后秦大臣姚艾、尚书房晷制订朝廷的制度，制度颁行不到十天，北凉群臣的工作作风顿时大为改观。
不过，刘裕此举似乎也有让乞伏炽磐和李歆夹击沮渠蒙逊的意味。果然，在接受了刘宋封号以后，李歆即打算东进进攻北凉，张体顺坚决反对，李歆才没有行动。
与此同时，北凉的太史令张衍对北凉主沮渠蒙逊说：“今年，临泽（疑为今甘肃省临泽县）城西当会出现败兵。”沮渠蒙逊提前命令世子沮渠政德在若厚坞（一说在青海省乐都县附近，但疑为在临泽县附近）屯兵，以备不测。沮渠蒙逊西行到白岸（今地不详），他对张衍说：“今年，我将要平定一国，但是，今年的但太岁在申（公元420年为庚申年），正月又是申，申主西方，不可西行。暂且前去南方，假装进攻西秦，引诱西凉趁虚东下来进攻我们，然后，我再回师迎击。今年，只宜为主，不宜为客，以顺应上天。一切都当临机应变，千万不可泄露。”于是，沮渠蒙逊率领北凉军队南下进攻西秦的浩亹（青海省乐都县东）。在浩亹城外，有一条大蛇缠绕在沮渠蒙逊的大帐之前，沮渠蒙逊看到以后，不禁大笑说道：“大蛇盘在我的帐前，这是天意想指引我回师，先平定酒泉啊！”于是，焚烧了攻城器械，火速回师西返，大军驻扎在川岩。
李歆听说沮渠蒙逊大军南下进攻西秦，立即下令内外戒严，计划进攻北凉的张掖。太后尹氏对李歆说：“我国是新诞生的国家，疆域狭小，民众稀少，自守尚且不足，岂能讨伐别人！先王临终之时，再三叮嘱你要谨慎用兵，保境安民，以等待机会。言犹在耳，为何不听！沮渠蒙逊善于用兵，你不是他的对手，数年以来，他常有兼并我国的打算，而我国虽然是小国，但还能够可以推行善政，修德养民，以静制动。他如果昏庸残暴的话，民心将归于我们；他如果政治清明的话，我们就臣服于他。岂能轻举妄动，心存侥幸！以我看来，此举不仅会丧师失地，甚至还会亡国！”宋繇也是苦苦劝谏，李歆就是不听。宋繇退下后不禁叹息道：“大事去矣，我能看到部队从城内出征，却再也看不到部队归来了啊！”于是，李歆率领三万步骑从酒泉出发，一路东下，驻扎在都渎涧（《十六国疆域志》引《通志》称，在蓼泉西，甘肃省张掖市西）。沮渠蒙逊听说李歆东下的消息，说道：“李歆已经进了我的圈套中了，但如果他听说我已经从南方回师，肯定不敢继续前进。”因此，沮渠蒙逊下令在北凉的西部边界到处张贴捷报，声称北凉军队已经攻克了浩亹，还将继续乘胜进攻黄谷（今地不详，当在浩亹以东）。李歆得报不禁大喜，立即进军，然而，北凉的主力部队却突然出现在了张掖以西的怀城，经过一场激战，猝不及防的西凉军被打得大败。部将劝说李歆收拾残兵，逃回酒泉，李歆回答：“我违背太后的教诲遭此惨败，不杀了这个胡寇，还有什么面目去见老母！”于是，他重新整顿军队再次在蓼泉（甘肃省张掖市西）与北凉军队决战，结果，李歆再次战败，并临阵被乱军斩杀。
前方战败的消息传来，李歆的诸位兄弟：酒泉太守李翻、新城太守李预、领羽林右监李密、左将军李眺、右将军李亮等人，纷纷从酒泉西逃到敦煌，沮渠蒙逊不费吹灰之力就占领了西凉的国都酒泉。沮渠蒙逊进入酒泉以后，北凉军队军纪严明，秋毫无犯，百姓生活没有收到影响。沮渠蒙逊任命宋繇为吏部郎中，负责人才选拔，对于西凉的旧臣，也都按照各自的才能予以任用，然后，他任命自己的儿子沮渠牧犍为酒泉太守。
逃到敦煌的李翻，又与弟弟敦煌太守李恂与李氏宗族放弃了敦煌，逃奔北山（敦煌以北的山区）避难，沮渠蒙逊任命索嗣的儿子索远绪代理敦煌太守。沮渠蒙逊拿下酒泉以后，即率军回到了姑臧，他当面安慰被俘的西凉尹太后，尹太后说：“李氏被胡人所灭，还说什么！”有人劝说尹太后：“如今你们母子的性命都在人家手里掌握，怎能如此傲慢！况且，国破子死，您却毫无悲戚之色，这又是为何？”尹太后回答：“死生由命，我为什么要象普通人那样悲戚！我不过是一个年老的妇道人家，国亡家破，岂能再爱惜余生，做他人的臣妾！只求速死！”沮渠蒙逊听到尹太后的话，由衷地赞叹，就赦免了她，还为自己的儿子沮渠牧犍娶了她的女儿为妻。
沮渠蒙逊匆匆回师姑臧，就是担心西秦效自己的故伎，趁虚偷袭自己。果不其然，八月，西秦振武将军王基等人率军偷袭北凉的胡园戍（今地不详），俘虏了两千多人。
敦煌城的索家与李氏为世仇。索元绪当上敦煌太守以后，大肆杀戮李氏旧臣，弄得人心惶惶，敦煌人宋承、张弘秘密给李恂送信，请求李恂回城。于是，就在这一年的冬天，逃亡在外两个多月的李恂率领数十骑进入敦煌，城内民众纷纷响应，将索元绪赶走。索元绪逃亡到凉兴（甘肃省安西县东），宋承等人推举李恂为冠军将军、凉州刺史。沮渠蒙逊闻讯，派遣世子沮渠德政率军进攻敦煌，李闭门不战。
第二年，也就是宋武帝永初二年（公元421年）年初，沮渠蒙逊亲自率领二万部队西上进攻敦煌。沮渠蒙逊来到敦煌以后，在敦煌城的三面构筑大隄，引河水倒灌城池。李恂派遣一千壮士，连接木板作为桥梁，试图将大堤掘开，沮渠蒙逊发现以后，整军迎击，将这股敢死队全部斩杀。李恂眼看无法守住敦煌，只得请求投降，但却遭到了拒绝。部将宋承等人举城投降，李恂自杀，攻陷敦煌的沮渠蒙逊大开杀戒，将城内居民全部屠杀。李歆的儿子李重耳在西凉灭亡之际，脱身南逃，他辗转逃到了江南，后在刘宋王朝任职，再后来，李重耳又投奔了北魏，作了北魏的弘农太守。李重耳生子李熙，李熙生子李天赐，李天赐生子李虎，李虎就是李唐王朝开国皇帝李渊的祖父。
敦煌陷落后，沮渠蒙逊将李翻的儿子李宝等人迁到姑臧，一年后，李宝带着李氏宗族又逃亡到伊吾（新疆哈密），依附于柔然，北魏统一北中国以后，李宝回到敦煌故地，随即也投降了北魏，只有尹太后和她的女儿们都死在了伊吾。
西凉政权自李暠公元400年建立，至公元421年灭亡（《晋书》称宋少帝景平元年，即公元423年灭亡，今从《资治通鉴》），共存续了22年。