因刘牢之不从刘裕之谏，司马元显、桓玄二人的命运，就此被提前宣判。公元402年三月，桓玄在刘牢之的相助下，兵不血刃地拿下了京城建康。入城之后，桓玄将司马道子、司马元显父子二人赐死，司马尚之因相助司马元显抵抗桓玄的东进，也在被杀之列。肃清了朝中的政敌后，桓玄的势力在朝中再无人可以抗衡，他遂挟天子以令诸侯，自封为丞相、都督中外诸军事、录尚书事、扬州刺史、兖州刺史，加上他之前的官职和实际掌握的领地，可以说，这时的东晋王朝已名存实亡，普天之下莫非桓玄之土，那位白痴皇帝司马德宗连傀儡都算不上了。

那刘牢之对此怎么看呢？

刘牢之没意见。他还满心欢喜的等着和桓玄共掌朝政，当辅政大臣呢！结果等了许多日，他眼睁睁看着桓玄只顾忙着给自己加官进爵，一点自己的事儿都没有，刘牢之也开始急了，他私下找到舅舅何穆，问道：“桓玄能够入主朝廷，我居首功，他准备封我什么官位？”

何穆白了刘牢之一眼，斥责道：“桓玄之名也是你叫的，从今往后，你该称之为丞相了！”

“那就麻烦您帮忙问下丞相吧。”刘牢之不防舅舅说翻脸就翻脸，只好低声下气地道。

在何穆的“努力争取”下，几日后，桓玄拜刘牢之为会稽太守，将其调离京口。刘牢之想要的是辅政大臣之位，听说只当了一个太守，当然十分不满。不过眼下形势比人强，桓玄自来到京城，已将政敌尽除，其余的官员畏惧其手握重兵，无一人胆敢与之作对。刘牢之只好自己安慰自己：罢了罢了，会稽好歹是个大郡，我先带着军队过去，观望一下形势再说吧。

结果令他再次大感意外的是，桓玄听说他同意前往会稽上任了，随即又补下一令：“北府军又不是他刘牢之个人的—刘牢之既已同意前往外地上任，北府军从此收归朝廷，交由他人接管。”

刘牢之直到听到该命令，这才醍醐灌顶，明白过来：好你个桓玄，竟然利用我对舅舅的信任，伙同何穆如同温水煮青蛙一般，步步为营，设计害我！我之所以放心桓玄入京，且容忍他在我眼皮子底下相继杀害政敌，一直有恃无恐，只因我兵权在握。而一旦我失去了兵权，那我的下场岂不是…刘牢之不敢再往下想了，他慌忙派人传召：“请刘裕来见我。”

过不多时，刘裕来了。往日他与刘牢之议事，因是军官，剑不离腰，甲不离身；今日前来，却是一身布衣打扮，与寻常百姓一样。刘牢之甚感惊奇，问道：“你是将军，身在军营，为何不穿甲胄？”

刘裕施一礼道：“桓玄方到京师，便削去将军您的兵权，不久之后，必有大祸降临。刘裕今后欲效忠将军而不能，又不愿听命于桓玄，只得辞官归隐去也。”

刘牢之想到刘裕之前苦谏自己的好处，不禁满面羞愧，忙又问道：“在你看来，若我拒不交出兵权，也不同意迁往会稽，桓玄会怎么对我？”

“桓玄已升任丞相，当朝首辅，他的话，便是圣旨。将军您抗旨不尊，结局只有死路一条。”

“那我立即召集军队，宣布讨伐桓玄，能成功么？”

刘裕叹口气，幽幽地说道：“晚了。当初，司马元显让您担任讨伐桓玄的先锋，将晋国的所有精锐委托给您，您却一箭不发就望风归降。您尚且如此，等及桓玄实现了操纵朝廷的志向，声威已震动天下，还有谁敢与他为敌？您此时若宣布起兵，绝对不会有人响应，结局也是死路一条。”

说过这些，刘裕就走了，他还有妻儿家小，不得随“必死之人”刘牢之一道赴死。他走之后，刘牢之想想实在不甘心，召集北府军各部将校，宣布即日将亲率军队，前往建康讨伐桓玄。不出刘裕所料，一向唯刘牢之之命是从的北府军众将纷纷提出抗议，质问刘牢之道：“将军说的是哪里话，普天之下，最不能做的事情，莫过于谋反。将军您从前反了王恭，近些日子反了司马元显，如今又想背叛桓玄。一个人短短一生，竟然连续三次反叛，那么您凭什么在世间立足。”于是众将一哄而散的离去，不再受刘牢之调遣。刘牢之大感恐惧，仅率数百部下逃往江北的广陵，欲重新招兵买马，占据江北对抗桓玄；并密令他的儿子刘敬宣带齐家属北上，二人约定在新洲会合。刘牢之逃到新洲后，因刘敬宣约期不至，刘牢之误以为桓玄已得知其谋反的计划，派兵攻占了京口，诛杀其子，遂在新洲之地悲哭一场，自缢而死。