吕光虽是前秦名将，但他却不是一位合格的政治家。前秦凉州刺史梁熙阻遏吕光大军，吕光诛杀梁熙，当然名正言顺，但在杀死梁熙以后，要想牢牢地控制住凉州，就必须依靠当地的大族势力。但是，吕光却听信尉祐的谗言，将凉州的名士们诛杀殆尽，这无疑是在玩火。而恰恰正是吕光的这一糊涂做法，让凉州陷入了数年之久的大乱之中。如今的张大豫也没有听从王穆的建议，企图以一战而定凉州，但是，正如王穆预料的那样，吕光的军队毕竟是精锐之师，看到张大豫等人围住了姑藏城，吕光率领军队主动出城迎战，进攻城南的王穆和秃发奚于，阵斩秃发奚于，张大豫的城南军被击败，被斩杀了两万多级。张大豫城西之军随之也不战而败，张大豫本人往西北逃往西郡（甘肃省永昌县西北）。战后，吕光对诸将说：“张大豫如果采纳了王穆的建议，恐怕不好平定呀。”大家知道吕光喜欢听好听的，纷纷拍马说：“张大豫难道不清楚这一点吗！这是上天想要让明公建立八百年的基业，所以才让张大豫脑袋糊涂，不采纳好的计策啊！”吕光听了，非常高兴，赏赐给大家不少金银财物。张大豫逃往西郡数月，但毕竟西郡距离姑藏太近，而且，与自己的盟友鲜卑秃发部较远，于是，到太元十一年十一月，他率众越过姑藏东下攻下了临洮（甘肃省岷县），裹挟当地五千多户居民，驻守在临洮县境的俱城。第二年七月，吕光派遣部将彭晃、徐炅攻破了临洮，张大豫逃奔广武（甘肃省永登县东南），王穆逃往建康（甘肃省高台县西南）。据《晋书，秃发乌孤载记》的记载，数年之后，吕光曾加封秃发思复鞬之子秃发乌孤为广武郡公，由此，我们揣测，广武当属此时秃发部落的核心游牧区域，而张大豫从临洮又折返回广武，其目的应该还是为了投靠秃发部。不过，此一时彼一时，当初秃发部接纳并帮助张大豫，不过是以为那是奇货可居的，在他们看来，以凉州本地势力驱除不得人心的吕光客军，似乎是易如反掌的事情，届时，秃发部以佐命之勋可以崛起更大的利益。然而，事与愿违，秃发思复鞬不仅未能得到更大的利益，反而失去了儿子和很多鲜卑部众，经此一劫的秃发部立即陷入了一场抉择：要么继续与吕光为敌，承受灭亡的风险，要么选择与吕光合作。而此时，再次战败的张大豫却逃到了广武，史称，广武人将张大豫交到了吕光的手中，我们从此后吕光与秃发鲜卑逐渐合作这一点上看，史料上所云的“广武人”，极有可能就是秃发鲜卑。太元十二年八月，张大豫被送到姑藏之后，被吕光斩杀，至此，持续一年半左右的张大豫之变基本上被扑灭。

然而，张大豫的余党却并没有完全投降。逃往建康的王穆袭占了酒泉（甘肃省酒泉市），他自称大将军、凉州牧。雪上加霜的是，由于一年多来的战乱，导致了凉州这一年的饥荒，一斗米能卖到五百钱，人们因饥饿而相互诛杀，凉州再次上演人吃人的人间惨剧，凉州的人口急剧下降了一多半。而这时，吕光的西平（青海省西宁市）太守康宁，又自称为匈奴王，杀掉了河湟太守强禧，背叛了吕光，吕光多次派兵前去讨伐，均遭到失败。从康宁自称的名号上看，其人当属于匈奴族人，而康宁背叛的行为大约与在此地活动的尉祐有关。一波未平一波又起。吕光平定凉州最大的功臣是部将杜进，在吕光入居姑藏以后，即任命其为辅国将军、武威太守，杜进成为都城行政长官以后，逐渐骄恣。吕光的外甥石聪从关中前来，吕光问道：“中原地区的人们谈及我的政绩如何？”石聪说：“只听说杜进一人，实在没听到还有舅舅。”石聪的话显然是在说谎，也是在挑拨。听了外甥的这一番话，一向喜欢猜忌的吕光又借故杀掉了杜进。唇亡齿寒。吕光刑罚严厉，听信谗言，果于杀伐，这让吕光阵营内部的人们也感到朝不保夕。曾经攻破俱城、击败张大豫的吕光部将徐炅、彭晃二人也开始密谋发动叛乱，吕光率先出兵进击徐炅，徐炅自知不敌，狼狈逃往张掖（甘肃省张掖市），依附现任张掖太守的彭晃。于是，在凉州四境之内，南有西宁的康宁，西有张掖的徐炅、彭晃，更西又有酒泉的王穆。吕光决定亲自讨伐张掖，诸将都劝阻说：“如今，康宁在南边，静待时机，发起进攻。如果我军西上，彭晃和王穆没有平定，而康宁又进抵姑藏城下，届时，我军进退两难，这十分危险。”吕光说：“大家说的很对。可是，如果我如今不主动前去，那是坐在此城等待敌人的到来。如果三方敌人联合而来，东西夹击，姑藏城外将不再属于我等所有，我大事去矣。现在，彭晃刚刚背叛，与王穆和康宁的关系还不是十分亲密，我军出其不意，战胜他们还比较容易。”于是，吕光亲自率领三万精锐骑兵，昼夜兼行，很快就抵达张掖城下。果然，张掖的彭晃、徐炅等人措手不及，而王穆也来不及前往救援，吕光大军围攻张掖二十天，彭晃部将寇顗打开城门，于是，吕光的攻城军攻陷了张掖，吕光斩杀了彭晃，却赦免了徐炅。

在吕光围攻张掖之时，酒泉的王穆之所以没有发兵援救，一方面是正如吕光所料的那样，二者尚未建立起相互信任的关系，而另一方面则是王穆也正在进行着一场清理内部的军事行动。当初王穆起兵之时，曾邀请敦煌的隐士郭瑀参加，郭瑀与同郡的索嘏一起响应王穆，王穆任命郭瑀为太府左长史、军师将军，索嘏为敦煌太守，然而，此时王穆却听信谗言，举兵进攻敦煌索嘏，郭瑀劝说不听，出城大哭，他对着酒泉城说：“我再也不会见到你了！”回家以后，郭瑀以被盖着脸，绝食而死。身在张掖的吕光闻讯，说：“二个敌人之间相互争斗，这是消灭他们的最佳时机，我怎能因为害怕连续作战的疲劳，而失掉一劳永逸的良机呢！”于是，他率领二万步骑混合部队趁虚直扑酒泉，一举拿下了王穆的老巢，并一直往西推进到凉兴（甘肃省安西县东）。此时的王穆才得知酒泉陷落的消息，他赶紧从敦煌撤围东还，企图与吕光所部决战，然而，丧失了根据地的王穆军队再无战心，就在回师的途中，士兵们就一哄而散，王穆单人匹马仓皇逃往骍马（甘肃省玉门市东北），骍马县令郭文将其斩首，送给了吕光。就这样，吕光顺利地平定了张掖、酒泉，清理了姑藏西面的异己势力，也解除了姑藏面临东西夹击的威胁，其后，参军段业建议吕光放弃严刑峻法的治国理念，吕光却说：“商鞅、吴起均严刑峻法，却让秦国兼并天下、魏国雄霸诸侯，这难道有什么不合适的呢？”段业反驳道：“主公受到上天的眷顾，正要君临天下，以尧舜为榜样，为何要效仿法家严酷刻薄的末法呢？这岂是神州万民对主公寄予的期望呢？”吕光听后，表示歉意，并下令自责，开始在凉州施行宽厚简单的政令。