眼见武则天似乎有提前交权的迹象，恶事做尽的张易之、张宗昌知道一旦让李显当上了皇帝，他俩必死无疑—李显再是“软蛋”，杀子之仇岂能不报！而长安是李唐的根基之地，他二人自知在这里与李氏斗法，毫无胜算。恰好武则天来到长安之后过了几年，也思念东都，张氏兄弟好说歹说，终于成功让武则天又把都城迁回了洛阳。公元704年，重新回到洛阳的武则天逐渐病入膏肓，张易之、张宗昌伙同其党羽，牢牢守住宫门，严禁太子李显和其他官员入内。宰相张柬之屡次求见武则天而不能，到了第二年正月，他与崔玄暐、桓彦范、敬晖、袁恕己等几位朝廷重臣商议道：“狄国老将国家托付于我等，今陛下病危，只有张易之、张宗昌侍奉左右，万一让这二人窃夺社稷，后果不堪设想—不如我等先下手为强，拥护皇太子，发动政变。”那几人也有此意，只是犹豫道：“不知禁军众将是否会支持太子？”张柬之道：“这个不妨，陛下虽被二张蛊惑，但之前她将半数禁军交由相王（李旦）统领，显然她对二张也有所防备。至于另外半数禁军，暂由右羽林卫大将军李多祚统领，我这便前往其府上说服他。”
且说武则天在位时期，禁军制度与之前唐太宗、唐高宗在位时期的制度基本相仿，禁军仍主要是由府兵构成。其中，又分作内府和外府，内府的主要职责是戍卫皇帝的寝宫和太子府，外府的主要职责是戍卫皇城。因内府在南，该部禁军又称南衙宿卫，简称南军；外府在北，该部禁军又称北衙六军（包括左右羽林军，左右龙武军、左右神武军），简称北军。当时，南军已被李旦掌控，而张柬之打算说服的右羽林卫大将军李多祚，暂掌北军。张柬之到李多祚府上后，开门见山问对方道：“将军是外族人，却比汉人更得朝廷器重，常年执掌北军。不知你的富贵，是谁赐予的？”
原来，这李多祚就是上文曾提到过的靺鞨人。唐高宗在位时期，李多祚曾为靺鞨酋长，其所统领的靺鞨部落反叛，被大唐轻易平定。李多祚降唐之后，唐高宗因见他骁勇善战，气概过人，竟不以民族为见，破例擢升他为北军大将。截止到这时，李多祚已长期担任北军将领达三十年。李多祚闻言，想起唐高宗在世时对自己的恩惠，忍不住流泪答道：“当然是高宗皇帝所赐。”
张柬之大松一口气，接着问道：“可如今，众所周知，高宗皇帝的子孙们正遭受张易之、张宗昌两个小人的威胁，甚至会有杀身之祸。李将军难道不想报答高宗的恩惠，保护好他的子孙吗？”
“宰相大人放心，卑职早就有心舍身报国了，只要是对国家有利，一切都听从您的安排！”
于是二人当场立誓，只等时机成熟，便联合其余拥护李唐的官员一道带兵杀入皇宫，逼武则天将皇位禅让于皇太子李显。不久，有人前来密报张柬之，说张氏兄弟似乎听到风声，正商议要替换掉部分禁军将领，换成他俩的亲信。张柬之略一斟酌，回府之后，上疏提议让武攸宜与李多祚共掌北军。武攸宜是张氏兄弟阴谋集团的重要成员，诸如替他俩执鞭赶车的事儿也没少干。张氏兄弟见武攸宜入职北军，果然心中大定，之后半个月，不再过问张柬之等人的行踪。
时年正月二十二日，张柬之见万事俱备，突然带人闯入北军，宣布接管北衙六军的所有军队，武攸宜不敢与之相争，只得乖乖将刚得手的将军印信献上。随后，张柬之与李多祚按事先约定分头行事：李多祚率北军主力前往太子府，迎接李显入宫；张柬之则带着五百羽林军，与崔玄暐、桓彦范等人径自前往玄武门。当时镇守玄武门的将领，乃是曾与阎知微一道出使后突厥的田归道，他所率领的军队比较特殊—既不属于北军，也不属于南军。该军队为唐太宗首创，大家应该还记得，其于贞观初年为打击颉利可汗，曾亲自招募、训练了一支精兵，因该军初建之时仅有百余人，故称之为百骑军。武则天称帝后，将该军的规模从百余人扩充到上千人，所以又改称：千骑军。
这支军队从建立以来，一直是皇帝的私人卫队，武则天当政，他们便只听命于武则天一人。所以张柬之才选择让李多祚带着数万人去迎接太子，自己仅带着五百人来与田归道和千骑军会面—对这支军队，不能来硬的，只能来软的，别看他们只有一千人，战斗力顶得上数千精兵。果然，田归道见张柬之有逼宫之意，与部下严守玄武门，禁止对方进入。张柬之不慌不忙辩解道：“陛下病危，急召太子入宫相见，我等此行正为此事而来。田将军不肯打开宫门，难道是想助张易之、张昌宗二人篡夺大位么？”
田归道一向忠于李唐，当然不会希望皇位让张氏兄弟两个宵小之辈篡夺。他犹豫了一会儿，正打算开门放人，突然他警觉地发现：太子李显并不在前来的队伍之中。他就这事质问张柬之，张柬之只道李多祚带着大军前来迎接李显，太子很快就到，哪知左等太子不来，右等太子还不来，转眼间一两个时辰过去了，太子那边还是音讯全无。眼看五百羽林军和一千千骑军就要在玄武门一带发生火并，李多祚终于姗姗来迟，带着太子李显来到了玄武门；同时，相王李旦也带着南军前来与兄长、张柬之等人会合。原来，李显虽知张氏兄弟的阴谋，也有心重登皇位，但他畏惧武则天惯了，担心这次政变不能取得成功会有杀身之祸，所以李多祚等人到后，他下令将府门牢牢关紧，躲在府中不敢出声。李多祚等人呼唤太子多时，见太子始终不肯出面，众人在府外用大义说之。李显实在躲不过去，只得隔着府门说道：“宫中的奸邪小人确实应该及早剪除，但陛下圣体欠安，这件事能否延后几日再重新商议？”众将哭道：“我等决意发动政变，为的是国家社稷，早已置身家性命于不顾。太子殿下若仍然犹豫，可立即下令杀了我们，否则消息传到张易之、张昌宗耳中，等不到明日，我等就要遭受鼎镬之酷刑（即被丢入油锅烹杀）。”李显抵不过众将，叹了口气，下令打开府门外出与他们相见。
李多祚等人欢呼雀跃，当即簇拥着李显也来到玄武门外。张柬之见李显到了，如释重负之余，下令左右道：“将宫门打开！”其部下得令，有一人当即手持佩刀上前，斩断了玄武门的门栓。田归道对此也不阻止，待拜见过太子殿下之后，下令千骑军齐刷刷退至玄武门两侧，迅速让开了一条通道。北、南两支禁军顺利通过玄武门之后，直奔武则天所在的迎仙宫，张易之、张昌宗见张柬之带着数万大军杀气腾腾地闯入进来，急忙逃往武则天寝宫，呼喊救命。宰相张柬之这一年已八十一岁了，却是老当益壮，亲自提刀追赶二张，在其他官员的相助下，将张易之、张昌宗就地斩首。因病体沉重，已数月未出寝宫的武则天听见外面有打斗声，急忙挣扎起身，询问身边的侍从道：“是谁造反？”话音方落，张柬之已带着一众官员闯至武则天塌前，齐声奏道：“张易之、张昌宗趁着陛下患病，阴谋窃夺社稷，太子得知此讯，下令臣等将二人诛杀，现二人已经伏法。因担心事先通知陛下会走漏消息，因此这时才来向您禀报。”武则天见了张易之、张昌宗的首级，又见李显也在人群之中，惊怒交加，召李显上前，斥责他道：“是你下的命令吗？既然你要杀的人都已经杀了，怎么还不速回东宫？”李显见母亲发怒，正要退下，最早参与此次政变行动的五位官员之一，桓彦范拉住他，对武则天说道：“事已至此，太子岂能再回东宫？先帝当初将皇位传给太子，由陛下代为照看，二十多年过去了，太子已经年过五旬，天下军民思念李唐，都迫不及待地希望他能早日重登皇位。今日，太子既有铲除逆臣的大功，希望陛下能尽快下诏把皇位禅让给他，以顺应天意和臣民们的心愿。”
其他大臣也纷纷劝说武则天，请她主动让出皇位，武则天见众叛亲离，大势已去，不得不令太子监国，尔后，正式将皇位禅让于太子李显，同时昭告天下各州县。公元705正月二十五日，李显时隔二十二年之后，重新恢复了唐中宗的身份，改年号为神龙。该年为神龙元年，所以张柬之等人所发动的这次成功的政变，被称作“神龙政变”。