桓玄呢，他也深知豫州军队当然无法与兖州的北府军相提并论，长期以来，豫州军队一直作为兖州军队的辅助力量，打败了豫州军队，虽然在士气上鼓舞了西军，但要想一举消灭百战百胜的北府军队，谈何容易！在这种情况下，桓玄派遣刘牢之的族舅何穆前往劝降，何穆对刘牢之劝说道：“自古以来，在乱世之中，君臣相互信任的只有燕昭王与乐毅、刘玄德与诸葛孔明，然而，他们都是功业未就，二主就去世了，假设乐毅和诸葛亮的功业成就以后，难保他们不会受到猜忌而面临大祸。俗语说：‘高鸟尽，良弓藏；狡兔殚，猎犬烹。’因此，文种被勾践所杀，韩信、白起为秦汉所灭，他们所服侍的君主，都是英雄豪杰，尚且不敢信任他们，何况是那些个平凡昏庸、残忍凶暴的主子呢！自天地开辟以来，手握威震君主的权威，建立君主无法封赏的功业，却在昏暗的政治中得以生存下来的，又有谁人？而且，历史上，管仲在齐国做宰相，雍齿又被汉高祖封侯，这都是有的，何况你与桓玄之间，并无管仲射中齐桓公小白的衣钩、雍齿屡屡威逼高祖之仇呢！如今，你战败则被灭族，战胜也会被杀，将何处存身？倒不如彻底改变立场，保全富贵，则可以与金石一般长保富贵，岂不比身首异处，为天下所笑要好！请你三思。”当时，司马尚之已经失败，朝廷豫州之军覆灭，刘牢之自认为手握强兵，自己的才能也足以经营江东，于是，他接受了何穆的劝说，开始与桓玄联络。此时，桓玄之军已经在夺下历阳以后，进抵溧洲附近，建武将军、下邳太守刘裕请求刘牢之主动出击，刘牢之不同意。刘牢之的外甥、东海（江苏省常熟市）中尉何无忌，刘牢之的儿子刘敬宣，此时为司马元显的从事中郎，两人均与刘裕关系很好，当刘裕、何无忌与听说将投降桓玄，两人极力劝谏，但刘牢之始终不听；刘敬宣也劝说父亲道：“如今国家纷乱，四海鼎沸，天下重任，在于父亲您和桓玄二人。桓玄凭借着先父打下的基础，占据了荆州之地，虽然没有周文王那样的德行，但与朝廷是三分之形。一旦放纵他，使之凌驾于朝廷之上，等到其威望养成，就难以再制约他了，那么，董卓之变，将在今日重演。”刘敬宣与其父还是不同，心中尚存忠义之心，他八岁丧母，日夜哀号，当时，辅国将军桓序镇守芜湖，刘牢之是桓序的参军，桓序叹息着对刘牢之说：“你家孩儿既是孝子，必为国家的忠臣。”刘牢之背叛王恭的时候，刘敬宣极力赞成，也是出于拥护朝廷的意思，如今，刘牢之意欲背叛朝廷，当然刘敬宣不同意了。听了儿子的话，刘牢之大怒说：“我岂能不知今日我取桓玄，如同反掌，但是，桓玄被平定以后，让我如何对付司马元显？”最终，三人无法说服刘牢之，三月一日，在豫州刺史司马尚之覆灭后，刘牢之即派遣刘敬宣前往桓玄军中作为人质，向桓玄投降，桓玄任命其为咨议参军。其实，桓玄并没有将刘牢之看作是自己人，他早已决心除掉刘牢之了，不过，即使如此，他依然大摆筵席，隆重地招待刘敬宣。桓玄是个书画迷，据《晋书》记载，顾恺之曾经将自己毕生最为珍爱的一小箱画，用封条封好，送给桓玄赏玩。桓玄为了占有这些珍品，将小箱的下面弄开，把画取出，而小箱的封条如故，桓玄派人把小箱送还，只是说没有开封。“才绝、画绝、痴绝”三绝的顾恺之看到封条依旧，而箱内却空无一物，百思不得其解，思来想去，竟然认为好的画也是通灵的，已经变化而去，就象是人成仙一样。为了安抚刘敬宣，桓玄还将自己珍藏的书法、名画拿出，让刘敬宣观赏，刘敬宣信以为真，对桓玄的阴谋毫无察觉，桓玄手下官员都暗自发笑。

司马元显的中军还没有出发，就传来了刘牢之投降、桓玄之军已经进抵新亭（南京市南）的消息。他赶紧弃船登岸，率军退守京师的国子学堂。三月三日，也就是刘牢之投降两天之后，司马元显又命令部队出城，在宣阳门外扎营。此时，谣言四起，人心惶惶，有人甚至说桓玄已经推进到朱雀桥外，司马元显的很多部下都偷偷溜走了，司马元显率军将要回到宫城，而刘牢之投降以后，充当桓玄的先头部队，刘牢之参军张畅之率众袭来，人人拔出长刀，冲着禁军高声呼喊：“放下武器！”霎时间，禁军将士四散奔逃。司马元显骑马逃往司马道子的东府避难，身边只有张法顺一人追随。逃归相府的司马元显询问父亲有什么办法，司马道子只有落泪而已，再无一言。桓玄命令太傅从事中郎毛泰率众逮捕了司马元显，将其押送到新亭。

毛泰是毛宝的孙子，毛宝两个儿子，长子毛穆之、次子毛安之，均为名将；桓冲时期，桓冲举荐毛穆之接替周仲孙担任益州刺史，曾进攻被前秦占领的益州未果，淝水之战后，东晋收复益州，益州刺史先后由罗友、郭铨和毛穆之之子毛璩担任，此时担任益州刺史的就是毛璩，以淝水之战为节点，毛穆之家成为继周家以后统治益州的土皇帝；而毛宝的二儿子毛安之的几个儿子，却都在朝廷中任职，这个毛泰就是毛安之的二儿子，毛泰兄弟均为司马道子父子信任，一次，司马元显曾到毛泰家喝酒，不一会儿，司马元显想离去，可是，毛泰却苦苦相留，并戏说道：“大人如果一定要走，我要留下大人的脚。”司马元显听了，不禁大怒，奋衣而去，自此两人产生了矛盾。这次，桓玄命令毛泰抓捕司马元显，就是瞅准了两人的矛盾，果不其然，毛泰将司马元显抓获以后，在押送途中，亲自动手殴打司马元显，以泄私愤。到了目的地以后，桓玄命人将司马元显捆绑在船前的栏杆上，历数他的罪状，司马元显回答道：“我是被王诞和张法顺蒙蔽了的。”三月四日，在桓玄的授意下，东晋朝廷下令恢复隆安六年的年号，废除因讨伐桓玄而改的太兴年号，当日，晋安帝派遣侍中王谧前往桓玄军中犒劳，桓玄遂率军进入京师建康。晋安帝下诏解除戒严，并任命桓玄为总百揆（统管文武百官）、侍中、都督中外诸军事、丞相、录尚书事、扬州牧，兼徐州刺史，荆州、江州刺史不变，又加黄钺、羽葆鼓吹、班剑二十人，设置左右长史、司马、从事中郎四人，上殿时有全副武装的甲士二百人担任护卫。桓玄将司马道子父子的扬州、徐州刺史拿到手以后，又任命哥哥桓伟为荆州刺史，堂兄桓谦为尚书左仆射、负责吏部、加中军将军，任命桓谦之弟桓修为都督六州诸军事、右将军、徐州兖州刺史、假节，任命通风报信的堂兄桓石生为前将军、江州刺史，卞范之为建武将军、丹阳尹。

桓玄趁着兵威，立即着手培植自己的势力，除了在朝廷内外大肆安置自己的亲信以外，对于朝廷的名士和改投自己的故交，桓玄也都加以重用，而与此同时，京师的各个门阀士族，也都愿意看到桓玄能够驱除司马道子父子专权，恢复司马氏与各个门阀之间的共治局面。王导之孙王谧（即替刘裕还刁氏赌债的那位），年少之时，与桓冲之孙桓胤、王坦之之孙王绥齐名，在受命犒劳桓玄时，王谧与桓玄谈得很投机，此时，他要求朝廷任命王谧为中书令、领军将军、吏部尚书、又晋升为中书监、散骑常侍，代理司徒。桓玄此举，当然是为了安抚京师里的各个士族；殷仲堪的堂弟殷仲文也是桓玄的姐夫，虽然平素与桓玄交往并不多，但当桓玄起兵以后，就被司马元显贬为新安太守，此时，听说桓玄攻克了建康，也弃官前来投奔，被桓玄任命为谘议参军；殷仲文，文采很好，后来，谢玄之孙谢灵运（《世说新语》上称傅亮）曾说：“殷仲文如果读书有袁豹一半那么多，文采将不次于班固。”因此，桓玄对他这个姐夫十分敬重，当时，王谧虽然被桓玄尊崇，却并不亲近，卞范之虽然被桓玄亲近，却并不尊重，只有殷仲文兼而有之，后为侍中、兼领军将军。据《世说新语》记载，在此前后，羊孚也从京口前来投奔桓玄。羊孚，字子道，是西晋名臣羊祜的曾孙辈，他同样是位名士，又是位文士，他曾写一首《雪赞》：“资清以化，乘气以霏，遇象能鲜，即洁成辉。”桓胤听说后，十分赞赏，把这四句写到扇子上。羊孚从小与桓玄交好，此时，他任兖州别驾，从京口来拜见桓玄，他在拜函上写道：“近来世事纷扰，与我内心背离，我内心郁闷，情绪低落。您于黑暗中开启光明，澄清百流归于同源。”桓玄看到此函，忙让羊孚进来，，说：“子道，子道，你来得太晚了”马上任命为记室参军。孟昶任刘牢之的主簿，到桓玄这里谢罪，见到羊孚说：“羊侯，羊侯，我们一家老少的性命就靠你了。”对于曾经的仇人，桓玄也表现出宽宏大量。十年前，年轻气盛的桓玄，在当时的荆州刺史殷仲堪面前跃马挺枪，殷仲堪的参军刘迈曾指斥桓玄，差一点被桓玄派人所杀。此时，刘迈也前去拜见桓玄，桓玄说：“你不怕死吗？敢来见我？”刘迈回答：“管仲曾射中齐桓公的衣钩，勃鞮曾砍断晋文公的衣襟，都被后来的君主重用，再加上我刘迈，正好凑够三个。”桓玄听了很高兴，即任命其为刑狱参军，后为竟陵太守。

王谧、殷仲文、羊孚、刘迈，代表了当时京师中的各个阶层，史书称，桓玄刚入京的时候，斥去奸佞，提拔贤才，京师上下都十分高兴，希望他能结束隆安以来持续混乱的局面。