众人起初的计划是：一、袭击江北的广陵。桓玄堂兄弟、青州刺史桓弘现驻守广陵，而刘裕的少弟刘道规是桓弘的中兵参军，孟昶是桓弘的青州主簿，刘毅是桓弘的中兵参军属，因此，刘裕让刘毅偷偷过江，与刘道规、孟昶在江北合众，密谋袭杀桓弘，夺占广陵；二、袭占江南的京口。由刘裕本人率众入城，袭杀徐兖刺史桓修，夺占京口。三、由诸葛长民袭杀豫州刺史刁逵，在历阳举兵响应。四、京师建康里应外合。当时刘毅哥哥刘迈、王元德（即王叡）王仲德（王懿）兄弟、辛扈兴、童厚之等人均在建康，三地之兵举事兵向建康以后，由刘迈等人在建康发动政变。五、举义日期定于元兴三年二月二十八日。可以说，计划是十分缜密的，计划确定下来以后，众人即开始做着紧张的准备工作。
刘裕、何无忌、魏咏之三人曾一同去檀凭之家中密议，一位深谙相术的韦老头对刘裕和何无忌等人都说，将要大贵，就在数日之内，但当他见到檀凭之后，不禁大惊，脱口而出：“你有刀剑大灾，日子不出三四日，要深藏家中躲避，决不可轻易出门。”檀凭之没有听从。何无忌的母亲一直对弟弟刘牢之被桓玄诛杀，怀恨在心，常常想着如何为弟弟报仇雪恨。何无忌与刘裕定下举义的计划以后，刘氏看到儿子举动异常，心中暗喜。在举义前夕，何无忌深夜在屏风里撰写檄文，刘氏用器皿罩住灯烛，偷偷来到屏风外面，登上凳子向内观看，知道儿子将行大事，刘氏喜极而泣说道：“我与东海吕母相比差远了！心中的愿望没有实现，光阴荏苒，我常常担心自己寿命短促，你如今能行此大事，母亲心中的仇恨就能洗雪了！”又问儿子同党是谁，何无忌回答说是刘裕，刘氏更为高兴，她接着对儿子诉说刘裕之所以能够成功、桓玄之所以必败的道理，多方勉励儿子。东海吕母，是西汉末年王莽时期的人，她的儿子被县令诛杀，吕母时刻要为儿子报仇，数年中散尽家财，聚合义众，入居海岛，后杀回内地，诛杀了县令，部队发展到一万多人，后吕母的起义军融入赤眉、铜马等义军中。
一切准备就绪。
元兴三年二月二十七日，也就是在桓玄登基整整两个月二十七天，刘裕对外宣称将要出城打猎，与何无忌等人集合义从，同谋骨干分子共计二十七人，分别是：何无忌、魏咏之、魏咏之弟弟魏欣之、魏顺之、檀凭之及其侄儿檀韶、檀祗、檀隆、檀道济、檀道济堂兄檀范之、刘裕弟弟刘道邻（又记作怜）、刘毅及其堂弟刘藩、孟昶及其族弟孟怀玉、向弥、管义之、周安穆、刘蔚及其侄儿刘圭之、刘裕内弟臧熹及其堂弟臧宝符、侄儿臧穆生、童茂宗、周道民、田演、范清等，以这些人为核心，又聚集了一百多人义从。
第二天凌晨，京口城门刚一打开，这队人马就来到了京口城下，何无忌身穿传达诏书的朝廷使者衣服，骑着一匹快马，走在队伍的最前面，高声叫喊有紧急诏命！众人狂奔入城，齐声鼓噪，事出突然，京口将吏不知何事，均惊恐逃散，无人敢动，刘裕一行人直接奔进刺史府，臧熹的同族侄儿臧穆生（《宋书·臧质传》记作“臧穆”）干净利落地就斩杀了桓修，拿着桓修的人头传示全城。刘裕毕竟是桓修的下属，看到桓修被杀，不得不做做样子，对着尸体，刘裕是放声大哭，命令厚加殡葬。与此同时，江北的刘毅也进展顺利。青州主簿孟昶劝说桓弘当日一早出城打猎，当天天还没亮，桓弘即命人打开了广陵城门出城，让猎人们先出城，看到城门打开以后，在城外的刘毅、刘道规等人率领五六十名壮士，突入城内。桓弘正在兴冲冲地吃早饭，准备出发，只见刘毅等人闯入堂上，手起刀落，将其诛杀，于是，刘毅等人集合广陵的军队，南渡长江与刘裕会合。刘裕刚刚拿下京口，桓修司马刁逵三弟刁弘即率军前来赴难，刘裕登上城楼，对下面喊话说：“江州刺史郭昶之已经在浔阳奉安帝复位，我等均接到密诏，命令诛杀奸党，今日一同举事，桓玄的人头已经高悬于朱雀桥上了。你们大家难道不是大晋的臣民吗？来此要干什么！”城下的刁弘等人不辨真假，忧疑了一会儿，终于整军退去。刁弘的二哥刁畅为桓玄的右卫将军，刁弘很快便证实了刘裕所说是假，两人密谋起兵平定叛乱，然而，最初的时机已经丧失，刘毅率领广陵之军已经南渡京口，刘裕命令刘毅率军讨伐，刁畅临阵被杀，刁弘逃跑，不知所终。刁氏是京口的大财主，奴仆宾客众多，在京口为非作歹，被称为京口之蠹，刘裕年少时就曾因欠下刁氏赌债而被鞭打。在二刁被杀以后，刘裕下令查抄刁家，任凭百姓到刁家搬去粮食、财物，全城的人搬了一天还没有搬完。刘裕此举一是解了自己的心头之恨；二是为民除了一害，争取民心；三是解决军资，可谓是一箭数得。
暂时在京口站稳脚跟以后，刘裕对何无忌说：“军中亟需一个主簿，到哪能找到合适的？”何无忌说：“没有比刘道民更合适的。”刘裕说：“此人我也认识。”即派人飞马前去召唤。刘道民的名字叫刘穆之，也是京口人，为琅邪内史、建武将军江敳的主簿。江敳是江虨的儿子，对于江虨，我们并不陌生，他主要活跃于东晋中期，年轻时以围棋见长，后庾亮的儿子庾彬在苏峻之乱中被杀，庾彬之妻诸葛文彪再嫁江虨，简文帝为相期间，江虨官至尚书仆射。刘穆之与刘裕是同乡关系，前不久，刘穆之还作了一梦，他梦见自己与刘裕一起乘船出海，遇到大风浪，心中十分恐惧，但往船下看，却发现两条白龙护佑着船的两侧，一会儿，就峰回路转，两岸山高林密，景色宜人，心中转惊为喜。刘裕起事这天，刘穆之听到京口方向人声鼎沸，起身走到田野上眺望，正巧遇到刘裕的使者。刘穆之听了使者的话，定了定神，思考了很久，一言不发。然后，他快步回家，将长衫毁坏做成裹腿布，前去面见刘裕。刘裕说：“我刚刚举义，一切都是从头开始，十分困难。亟需一位有文字功底而又谙熟军中事务的人才做军吏，你看谁最合适？”刘穆之毫不含糊，他说：“军府刚刚建立，军吏必须要选择有真才实学之人，仓促之间，恐怕找不出比我更合适的了。”刘裕笑了起来，说道：“大人能够委屈担任这个职位，我的大事就一定能够成功！”当即就任命刘穆之为主簿，即主任秘书。