桓玄同样没有忘记他的好朋友刘牢之，得志之后，桓玄第一刀就砍向了刘牢之。刘牢之本以为桓玄至少也得封自己做大将军，都督八州诸军事云云，哪知道桓玄小气，只封个会稽内史。刘牢之见桓玄言无而信，肠子都悔青了：“小子初得志，便要夺我兵权，手中无兵，拿什么对付桓玄，看来祸将近矣。”刘敬宣劝父亲趁桓玄立足尚稳时，袭杀桓玄，足可以反负为正。刘牢之有些心热，但又担心万一失手，举族将灭，犹豫不决。
算来算去，刘牢之决定去广陵找外甥广陵相高雅之，在江北收兵对抗桓玄，并先让刘敬宣去京口接家眷过江。随后刘牢之找来刘裕，把自己的想法告诉刘裕，问他对此事的看法。虽然刘牢之是刘裕的恩主，但刘裕对刘牢之已经失去了信心，便想和他撇清：“北府强兵数万，将军不战而降桓玄，朝野怨公甚矣，天下虽大，难有公容身之处。我也当自保其身，回到京口做一平民。”
刘裕出来后，何无忌把刘裕一把拉了过来，小声问他：“我怎么办？”刘裕和何无忌亲若兄弟，自然要为他设法，耳语道：“看今日之形势，刘公的末日就要到了，我们犯不着陪他殉丧。你不如跟着我一起因京口，现在桓玄正当用人之际，我们兄弟还有地方吃饭。再稳住阵脚，再做打算。如果桓玄能恭事司马家，我们不妨跟桓玄闯荡江湖，如果桓玄有反骨，我们再设法赚了桓玄，立不世之功。”因为桓玄的堂兄桓修镇守京口，他也知道刘裕的本事，便请刘裕做中兵参军，前时封的建武将军、下邳太守，依然有效。
五
刘裕是何等样人，怎么可能相信望桓玄会“守臣节”？“总百揆”就是权臣篡位的前兆，刘裕岂会不知。只是现在桓玄势大，刘牢之优柔寡断，自己现在羽翼未丰，还没有自己的力量，所以暂时向桓玄低头也不是不可以。大丈夫能屈能伸，句践兵败夫俶，尚能只身入吴，屈事夫差三载，后卧薪尝胆，终沼强吴。以刘裕的为人，怎么可能低首下心的跟桓玄一辈子？
刘牢之密聚将佐会议，哪知道这些人早就看透了刘牢之凤毛鸡胆，难成大事，都起了二心。参军刘袭给了刘牢之当头一棒：“天下首罪，无过于反。而刘将军前反王恭，后反司马殿下，今以从桓玄，复又欲反。一人三反，传将天下，贻笑大方，将军误矣。”刘袭说完掉头自去，其他人看到刘袭走了，都一哄而散。
刘牢之大惧，在约定时间内不见刘敬宣带着家眷过来，以为都被刘袭给干掉了，自思罪恶深重，不为天下所容，一狠心上吊自杀了。哪知道他刚断气，刘敬宣就赶了过来，见老爹完了，连尸体都不收，连夜逃到广陵去了。刘牢之虽侥幸一死，但桓玄依然没有放过他，将他的人头砍下，把无头尸体扔到大街上示众。
桓玄夺了刘牢之的兵权，下面就要清扫刘牢之的人马，北府旧将高素、竺谦之、竺朗之、刘袭、刘季武等人均为桓玄所杀。而刘敬宣和高雅之在广陵起后反抗桓玄，结果兵败，刘敬宣等人皆弃境北逃至南燕，另一部分人则投降了后秦。
自从桓玄横空出世以后，刘裕便把主要精力用在了和桓玄周旋上，而刘裕之前的老对手孙恩却一时半会没有了动静。孙恩自被刘裕三番两次的敲打之后，尚不服输，趁着桓玄作乱上流之际，出海攻临海（今浙江临海），结果被临海太守辛景给臭扁了一顿。孙恩屡战屡败，心灰意冷之下，投海自尽。喽罗们见老大找龙王去了，只好另立孙恩妹夫卢循为新任大哥。
桓玄不想让卢循给他添乱，封卢循为永嘉（今浙江温州）太守。桓玄满以为卢循会对他感恩戴德，哪知道卢循比孙恩还滑头，一边当官，一边做海贼，四处抄掠，大为民患。桓玄气的差点昏倒，因刘裕具有丰富的海战经验，便调刘裕东征卢循。刘裕巴不得多立战功，在军界培养自己的势力，以便日后好与桓玄斗法，乐颠颠的去了。
元兴二年（公元403年）五月，卢循已经率部由临海登陆，直入东阳（今浙江金华）。刘裕在东阳大破卢循，卢循狂奔永嘉，结果跑的太慢，被刘裕给追上了，劈头盖脸好一阵打，卢循大哭着逃向晋安（今福建福州）。刘裕体力真够棒，继续跟来，卢循知道不是刘裕的对手，只好再次下海南逃。刘裕觉得可以收手了，便还军京师。
刘裕刚行至山阴，好友何无忌便私来见刘裕，劝刘裕以强兵据住山阴，北讨桓玄。刘裕有些犹豫，自己的实力是否能够对抗桓玄，心中无底，便找来当地土豪孔靖，问他当如何？孔靖很有战略眼光，劝刘裕：“山阴地处偏远，非百战之地。京口地接江淮，地广兵强，足成大事。何况桓玄还没有篡位，现在起兵，尚无借口，安知桓玄非忠于晋室？不如等他造反之后，再图之未晚。”刘裕也是这个意思，没有和桓玄翻脸，等待机会下手。
不过桓玄倒是很看得起刘裕，刘裕并不是刘牢之的心腹，所以想笼络刘裕留为已用，封刘裕为彭城（今江苏徐州）刺史。刘裕祖籍本就是彭城，能够衣锦还乡，别说古人，就是现代人，虚荣心都会得到极大的满足，由此可见桓玄对刘裕确实高看一眼。
自从做掉了刘牢之，打跑了卢循，桓玄手控十州，成为晋朝头一号的大军阀。桓玄认为晋朝之中，他说太阳是黑的，不会有人敢说是白的了，便决定开始司马德宗下手。九月，在狗腿子们的张罗下，司马德宗下诏封桓玄为楚王，加九锡，准备重走司马昭的老路。
到了这一步，即便是智商再低的人，也知道桓玄要干坏事了，当然除了司马德宗。桓玄的堂兄桓谦更加着急，眼巴巴的想当王爷，他去找刘裕聊天，问刘裕：“楚王德齐天地，望实隆重，四海翕翕然无不翘首而盼楚王行尧舜之事，不知道刘公对此有什么看法？”刘裕又不傻，哪能当着桓家人的面说桓玄的不是，当即狂拍马屁：“宣武王（桓温）有再造晋室之功，楚王父子皆英雄无敌，谁不心服？晋朝播越不振，久失民望，楚王素得人心，行禅让之事，实出天意。”桓谦实在太给刘裕面子了，大喜道：“卿当世豪杰，你说楚王能当皇帝，那肯定没问题了。”
桓玄实在是个无聊透顶的人，想当皇帝直接废掉司马德宗便是，桓玄假意归藩，然后又唆使人逼司马德宗下诏挽留。桓玄此举无非是想让天下人知道，他本想归隐江湖，是皇帝不让他走的。世人谁不知道司马德宗是个傻子，桓玄的小儿科能瞒得住谁？当然从官方形式上来说，桓玄这样做也是必须的，至少在场面上桓玄有理可说。
援照历史惯例，“尧舜禅让”之前，上天总会降些“祥瑞”下来，桓玄也不例外。马屁精们开始四处放炮：“钱塘临平湖开，江州降甘露。”然后桓玄加十二旒冕，建天子旌旗、乘金根车、驾六马，置八佾。一切准备就绪后，有奶便是娘的晋朝百官们联表劝进，当然桓玄也要做做样子，“伪让”，然后百官“固请”。戏演的差不多了，桓玄便于东晋元兴二年（公元403年）十一月在姑孰城南设坛称帝，国号大楚，改元永始，尊父桓温为太祖宣武皇帝，大封宗室，以为楚朝屏藩。同时降封司马德宗为平固王，随后就把司马德宗弄到寻阳（今江西九江）享福去了。
桓玄以为他建立的大楚朝将会万年永固，可他万万没有想到的是，他所谓的大楚朝不过是在为刘裕做为渊驱鱼的义务劳动，刘裕等这一天已经好久了，桓玄一日不称帝，刘裕一日无起义的借口。
到了年底，桓修带着刘裕入朝拜见新朝皇帝，这应该是刘裕和桓玄的第一次见面。桓玄久闻刘裕英名，今见刘裕，果然不同凡响，第二天桓玄告诉司徒王谧道：“刘裕殊有风骨，气质不凡，真是位英雄！”桓玄是有心笼络刘裕，每次桓玄设宴，座上宾都少不了刘裕。
桓玄天天宴请刘裕，桓玄的老婆刘氏吃了醋，便在桓玄面前给刘裕泼脏水：“刘寄奴龙行虎步，目中有铁，气质雄毅，非凡人之表，恐怕他不会为陛下卖命，请陛下早图之，以绝后患。”桓玄知道刘裕的份量，笑道：“如今江东第一流武将，非刘裕莫属，我志远大，欲效先帝之志，荡平中原，身边没有大将怎么行？等规复旧境后，我自有办法对付刘裕。”桓玄真是把卸磨杀驴的好手，想先榨干刘裕的剩余价值，可刘裕根本就不会给他这样的机会。