接到温峤的讨伐文告以后，尤其是看到桓彝进屯泾县，苏峻即组织部队从建康城南下，驻军于湖。
当时，扬州所属州县大部分都投降了苏峻，桓彝的长史裨惠再次建议桓彝，先假装投降苏峻，暂时缓解眼前之危。桓彝回答：“我受国家重恩，大义要求我必须为国而死，怎能忍垢蒙羞去与丑类互通音讯！如果不能成功，那也是命中注定、没有办法的事！”于是，他派遣将军俞纵率兵驻守泾县东北的险要兰石。苏峻派遣将军韩晃领兵进攻，激战中，俞纵的部队抵挡不住，手下劝说俞纵撤退，俞纵回答：“我受桓侯厚恩，以死报答他，那是我的本分。我不能辜负桓侯，就象桓侯不能辜负国家一样。”遂纵身力战而死。于是，韩晃进围桓彝的泾县，韩晃传话：“桓彝如果投降，一定会受到优待。”桓彝的将士们都劝说暂时投降，以图将来，但是，桓彝慷慨陈词，坚决不降。一直坚持到6月，（《晋书，桓彝传》称，“固守经年”；考察《晋书，成帝本纪》、《资治通鉴》均记作6月城陷）城陷被杀，年仅53岁。我们知道，桓彝过去与郭璞是好朋友，曾经让郭璞给自己算命，郭璞布卦以后，赶紧又把卦弄坏了，桓彝问是什么原因，郭璞说：“你的卦象与我的一样，男子汉遇到这种卦象，将死于非命，咋办！”如今果真如此。桓彝一共有五个儿子：长子桓温、次子桓云、三子桓豁、四子桓秘、少子桓冲。
一方面派韩晃去镇压桓彝，另一方面，苏峻听从了参军贾宁的建议，从于湖退军，集中主力部队固守建康西边的石头城。苏峻原初可能是估计义军会象自己进攻建康一样，从陆路直抵建康城下，而贾宁则预计到义军水军强、陆军弱的实际情况，极有可能从水路进攻石头城，因此，才建议苏峻将部队悉数撤回石头城。为了防止意外，苏峻命令将8岁的小皇帝司马衍从皇宫里搬出，也扣押在石头城内，司徒王导苦苦劝阻，但是，苏峻不听。
咸和三年（公元328年）5月18日，小皇帝被人抱上御车，从台城往西边的石头城进发。小皇帝离开平日里亲近的后宫亲随，又不知道将要发生什么事情，一路痛哭失声，而在这群西去的人们后面，是留在后宫的妇女们，一时间宫内哭声震天。不巧的是当日又天降瓢泼大雨，道路泥泞不堪，右卫将军刘超与侍中钟雅、丁潭一起步行跟着御车的左右，两人悲哀慷慨，苏峻派人给送来马匹，但是，他们却拒绝骑乘，苏峻听说以后，心里十分不快。一起随侍皇帝左右的还有司徒王导、左光禄大夫陆晔、右光禄大夫荀崧、侍中褚翜等朝廷重臣。
石头城本是一座用于军事的堡垒，居住条件很差，苏峻腾出一间仓库安置小皇帝，并指派自己的亲信许方等人为殿中监、司马督，表面上是保护皇帝，其实是为了防备刘超等人。当时，建康发生了饥馑，稻米昂贵，苏峻给刘超送去的稻米等物，刘超一概不接受，而是日夜寸步不离皇帝左右，每天还给小皇帝上课，教授《孝经》、《论语》。
陆晔在石头城，举动方正，苏峻考虑到陆晔为江南大族的领袖，就让陆晔和弟弟陆玩从石头城又回到台城，负责朝廷的日常事务；将建康城的老百姓全部集中到台城后面的苑城，由自己的将领匡术率兵驻扎在苑城守护。
这是苏峻在义军到来之前，苏峻对建康城所作的部署；而为了确保建康的粮食供应，苏峻还十分担心三吴地区的局势。自从台城陷落以后，王导的司马、丹阳人陶回就逃回了家乡，组织了近千人的义军；此时，广陵的郗鉴也起兵了，三吴如果再不稳定的话，后果不堪设想。因此，苏峻做了以下部署：一是除了调派韩晃部队东下，又分别派遣了张健、管商、弘徽等人东下晋陵；二是，在庾冰逃走以后，苏峻任命侍中蔡谟担任吴国内史；三是，此时，他又命令尚书张闓持节都督东面的军队；四是，派前陵江将军张悊在吴郡征召军队。
在苏峻看来，自己任命的都还是朝廷的旧人，应该不会招致地方的反感。然而，让他始料不及的是，王导趁机秘密与张闓联络，以太后的诏书，令三吴起兵来解救天子。于是，当张闓出了建康城之后，就又被陶侃授予了另外一个义军的符节，代理征虏将军，让其与振威将军陶回一道，统领丹阳的义军。张闓首先抵达晋陵，让晋陵内史刘耽使用一部分军粮，另将其中大部分军粮都运给了郗鉴部队。
在苏峻做好上述部署以后，此时，义军已经抵达建康南面的茄子浦（江苏省江宁县西南），当时，温峤鉴于义军长于水战、苏峻部队善于陆战的特点，曾下令擅自上岸者，格杀勿论。正巧，苏峻给驻守寿春的祖约送去一万斛粮食，运粮队走到此地，祖约派遣他的司马桓抚率兵去迎接。温峤的部将毛宝对自己的部下说：“《兵法》上说：‘军令有所不从。’此时，怎可不上岸杀敌呢？”他的部队仅有1000多人，但他擅自做主，主动上岸攻击这支苏峻的运粮部队，经过艰苦战斗，将这一万斛粮食全部俘获，并杀伤、俘虏了近万人，从此，祖约在寿春的部队开始断粮。为了表彰毛宝的功劳，温峤上书推荐他为庐江（安徽省舒城县）太守。也就在此时，司空郗鉴与平北将军魏该也都各自领兵与陶侃大军会合。
同月29日，征西大将军陶侃、平南将军温峤、护军将军庾亮、平北将军魏该所领的大军就到了建康附近江面，抵达在石头城西南的长江江心孤岛上——蔡州，陶侃军屯驻在秦淮河入长江口的查浦，温峤军屯驻在南京市西的沙门浦。太常孔愉的侄儿、尚书左丞孔坦从石头城内逃奔陶侃，陶侃任命他为长史。苏峻登上烽火台，看到义军军容甚盛，面露惧色，他对身边的人说：“我原来就知道温峤能够得众啊！”
几乎与此同时，三吴地区也起了义军。苏峻攻陷建康以后，义兴（江苏省宜兴市）太守顾众就逃回了自己的老家吴郡（江苏省苏州市），此时，前陵江将军张悊在吴郡给苏峻征兵，顾众派人去劝说张悊，用征召来的部队去打击苏峻，张悊听从了。于是，顾众就派遣郎中徐机对苏峻任命的吴国内史蔡谟说：“我顾众已经秘密集合了家兵，准备随时举义，并且与张悊也约定好了，定期效命。”蔡谟就任命顾众为吴国的督护，恢复原有的扬威将军称号，任命顾众的堂弟护军将军参军顾飏为威远将军、前锋督护。吴中人士同时响应。蔡谟认为，庾冰应恢复旧任，就卸去吴郡太守的职务。吴兴太守、都督三吴、晋陵、宣城、义兴五郡军事的虞潭，也与郗鉴、王舒联络，组织义军。虞潭的母亲孙氏，是东吴大帝孙权的族孙女，永嘉末年的时候，虞潭为南康太守，杜弢之变，孙夫人勉励儿子为国尽忠，并拿出自己的私房钱赏赐军士，这次，孙夫人再次对儿子说：“我听说忠臣出于孝子之门，你要舍生取义，不可以我年老为挂念！”把自己家里的奴仆全部补充到部队中，并把自己的衣物、配饰等都拿到集市上卖掉，用作军资，后来，孙夫人听说王舒让自己的儿子也领兵打仗，就对虞潭说：“王府君就能派自己的儿子冲锋陷阵，你难道就不能吗？”在母亲的督促下，虞潭也任命自己的儿子虞楚担任军中的都护，直接参加战斗。而远在会稽的王导堂弟、会稽太守王舒，也向所属县下发文书，起义讨伐苏峻，身在会稽的前吴国内史、庾亮的弟弟庾冰，看到王舒也起兵了，就找到了王舒，王舒任命庾冰为代理奋武将军，任命虞騑为参谋长，御史中丞谢藻代理龙骧将军、监前锋征讨军事，令三人一起率众一万，渡过浙江。王舒另外任命顾众为扬威将军、督护吴中军事；顾飏监晋陵军事，在御亭构筑堡垒，自己则率军驻扎在会稽郡的西江，作为庾冰、谢藻的后援。
听到东面起兵的消息，苏峻下令赦免庾亮的弟弟们，以取悦东军。而陶侃则上表推荐王舒都督浙江以东诸军事、虞潭都督浙江以西诸军事、郗鉴都督扬州八郡诸军事，命令王舒、虞潭都受郗鉴的指挥。三吴起兵以后，庾亮的妹夫、王导的外甥、给事黄门侍郎何充也从京师逃往东军。