当他率军抵达河内（河南省黄河北岸地区）的时候，传来了父亲石虎驾崩、弟弟皇太子石世继位的消息，于是，石遵驻军河内观望。此时，平定了梁犊之乱的姚弋仲、蒲洪、石闵、刘宁以及武卫将军王鸾、宁西将军王午、石荣、王铁、立义将军段勤等人，也班师回朝，两股人马在河内郡的李城（河南省温县）相遇，众人对石遵说：“殿下年纪最长而且贤明，先帝也曾有意立殿下为太子，只是由于晚年昏聩，被张豺所误才立了石世。如今，上白李农与张举之军相持不下，京师宿卫空虚，如果以声讨张豺之罪，鼓行前去讨伐，谁不扔下武器开城投降，来迎接殿下呢？”石遵同意了。于是，5月，石遵在李城发布讨伐张豺的檄文，举兵北上。洛州刺史刘国等地方官员也纷纷率领本部人马前来与石遵回合。
石遵没有亲生儿子，他在从李城出发的时候，对石闵说：“努力！事成之后，将以你为皇太子！”5月11日，石遵兵到荡阴（河南省汤阴县），有甲士九万，以石闵为前锋都督。
石遵的檄文传到邺城，张豺惊恐万状，赶紧命令上白之军回师救援邺城。然而，已经为时已晚。
张豺将整军迎战，军中年老的羯族将士说：“天子的孩子前来奔丧，我们当出城相迎，不能再替张豺守城了啊！”于是，将士们纷纷越城而去，张豺斩杀也无法阻止，即便是作为张豺副手的镇军大将军张离也率领二千龙腾打开城门，投奔了石遵。
见此情形，皇太后刘氏也十分惊恐不安，她召见张豺，哭着说：“先帝的灵柩尚未安葬，可是，灾祸就这样频繁。如今新君年幼，托付给将军，将军有何良策？加封石遵大官，行么？”张豺惊慌失措，无计可施，嘴里只是“是是”连声。于是，皇太后刘氏任命石遵为丞相、兼大司马、大都督中外诸军事、录尚书事，加黄钺、九锡，增封十郡，委以最高权力。5月14日，石遵抵达邺城附近的安阳亭，张豺害怕之余，惶恐出城迎接，石遵当场命人将其逮捕。
即日，石遵整军从邺城南面的西门凤阳们浩浩荡荡开进城内，直接登上太极前殿，捶胸顿足，嚎啕大哭，与父亲道别，然后退到东阁，命令将张豺押赴平乐市场斩首，诛灭三族。接着，又假传太后刘氏的命令：“新皇帝年幼，是先帝以私恩赐予其继承人的地位，国家大业很重，不是他所能担当的。下令以石遵为皇帝。”于是，百官劝进，石遵按照礼节，假意推让了三次，在群臣的苦苦相逼之下，石遵才在太极前殿石虎的灵柩前登基继位，大赦，下令撤回围困上白的部队；5月16日，封石世为谯王，食邑一万户，待以不臣之礼，废刘太后为太妃，不久即将母子二人全部杀死，石世（字符安）一共在位才33天。
于是，上白的司空李农前来归罪，石遵将其复位，象原来一样对待他。接着，石遵封自己的母亲郑樱桃为太后，妻子张氏为皇后，立死去的石斌的儿子石衍为皇太子，封义阳王石鉴为侍中、太傅，封沛王石冲为太保，乐平王石苞为大司马，石琨为大将军，武兴公石闵为都督中外诸军事、辅国大将军、录尚书事，辅政。
5月19日，邺城刮起了罕见的大风，树木连根拔起；接着，天上雷电交加，暴雨如注，冰雹斗大，摧毁房屋。就在这一天，皇宫雄伟的太武殿、晖华殿也发生了火灾，皇宫的各个宫门、亭台楼阁，荡然无存，御用车轿、衣服被烧毁一多半，金银珍宝全部烧毁，火光冲天，一直烧到阊阖门，第二天，在邺城附近，天上又下起了血雨，而邺城的大火却一直延续了一个多月，大火、狂风、暴雨、雷电、冰雹，此时的邺城仿佛人间地狱。
当时，沛王石冲接替石遵镇守幽州蓟城（北京市），当他听说石遵杀掉石世自立为帝之后，对手下说：“石世继位是先帝之命，石遵擅自将其废黜并杀死，罪大恶极！传令内外戒严，孤将亲自前去讨伐！”于是，留下宁北将军沭坚镇守幽州，自己亲率五万大军南下，发出讨伐檄文，要求幽州、冀州各郡的部队前来与自己会合勤王。北方各郡部队纷纷响应，等到大军抵达常山（河北省正定县），部众已达十万之众，然后，石冲的大军进抵襄国附近的苑乡（河北省任县东北），并在此建立大本营。石冲大军抵达此地的时候，接到了石遵的大赦令，石冲本无多少野心，他说：“石遵、石世都是我的弟弟，死去的人已无可挽回，活着的人为何还要骨肉相残呢？我将要回去了！”但是，他手下的大将陈暹却说：“彭城王石遵弑君篡位，罪过很大啊！即使大王北返，臣将南下，等到平定京师之后，捉拿彭城王，我再迎接大王！”陈暹是想趁此机会，立石冲为帝，自己也好加官晋爵。
听了陈暹的一番话，石冲又改变了主意。石遵派出王擢飞马前去解释说明，但是，石冲不听。于是，石遵只好授予武兴公石闵黄钺、金钲，命其与李农一起率领十万精锐部队前去迎战。
双方在平棘（河北省赵县附近）展开了一场决战，石冲大败，石闵、李农乘胜追击，并在元氏（今同名）将石冲抓获，赐死，坑杀石冲士兵三万多人。
平棘之战，暂时解除了石遵帝国的危机。
然而，经过了这一番折腾，帝国的局势已经逐渐出现了不稳。石闵素来与蒲洪不睦，在石虎昌黎之战失败之后，石闵就曾经请求石虎将蒲洪父子秘密诛杀，但是石虎没有同意。由于蒲洪在平定梁犊之役中立下战功，在石虎生前被任命为侍中、车骑大将军、开府仪同三司、都督雍州秦州诸军事、雍州刺史，此时，石闵再次对石遵建议说：“蒲洪，是人中豪杰。如今，如果让蒲洪镇守关中，臣下恐怕秦州、雍州之地不再属于国家所有了。这虽然是先帝临终的命令，但陛下登基以后，自然可以另行改变。”石遵听从了石闵的建议，将蒲洪的都督之职去除，其他职务保留。蒲洪大怒，从邺城领兵回到了枋头，并向东晋朝廷派出使者，表示投降。
6月，石遵将父亲石虎安葬在显原陵，谥号为武帝，庙号为太祖。
在短短的数月之中，石赵帝国一波未平，一波又起，经历了太多的事情：先是石虎登基称帝，接着就发生了梁犊之乱；刚刚平定了梁犊之乱，皇后刘氏就诛杀了石斌，紧接着，石虎就驾崩了；然后是石世登基，张豺企图杀害李农，从而引发了上百之围；继而石遵李城起兵，登基继位，诛杀张豺、石世母子；接踵而至的就是石冲南下，平棘之战。如今，距离邺城不远的蒲洪公开与石遵政权分庭抗礼，投降了晋王朝，石遵统治的石赵帝国已经慢慢出现了分崩离析的趋势，而石赵帝国内部这一连串目不暇接的内乱，也让周边势力都产生了取乱悔亡之心。