有宋神宗撑腰，王安石行为举止也非常狂妄。一次，上元夜，王安石从神宗皇驾，乘马直入宣德门。被卫士诃止。人臣再牛，毕竟是人臣，乘马入皇宫，太有违礼制。
王安石大怒，上表要神宗皇帝“逮治”卫士。御史蔡确等人认为卫士之举是尽职尽责，不应获罪，但宋神宗最终还是杖责卫士。王安石依旧气势汹汹，认为责罚太轻。
新法既行，天下喧攘。特别不利于王安石的是，数年大旱，恰值新法施行的几年。当然，王安石是“唯物论者”，认定“天变不足惧”，三年自然灾害嘛。但宋神宗与当时士大夫没有他思想那么“进步”，暗忖变法是否是触犯了“天怒”，才以此示警于人。
富弼的女婿冯京入为参知政事，竭力反对新法。地方官员也纷纷上疏反对，兴州司法参军郑侠上呈《流民图》，以图解方式谏劝神宗皇帝收回新法。同时，王安石私人小圈子内部也开始内斗，其助手曾布、吕惠卿二人争权夺利，打得你死我活。
曹太后和高太后也流泪劝神宗收手，认定“王安石变法乱天下”。
面对蝗旱涝灾，宋神宗自己只得颁布《罪已诏》。
在此情势下，王安石自己求去。于是，1074年夏，神宗下诏让王安石“出知江宁府”，“安心休息”。
王安石恹恹离京，过江后与随官饮酒销愁，发现有人已事先在要摆酒的赏心亭墙上写诗一首：“青苗免役两妨农，天下嗷嗷怨相公。惟有蝗虫倍感德，又随钧旆过江东。”
老王大怒，查了半天也没找到作者。
已离朝4年的司马光听闻朝廷有废法之议，兴奋莫名，激动得涕泪横流，他上书指斥“新法”之弊：第一，青苗之法，人民负债，官无所得。第二，免役敛钱，养浮浪子弟。第三，置市易司，与小民争利。第四，熙河开边，得小失大。第五，保甲扰民，不得休息。第六，水利大兴，劳民伤财。
但宋神宗毕竟反复，不久，他再召王安石入朝。
只是此次入京，形势对王安石已经大大不利。入京途中，夜泊瓜洲，老王作了那首脍灸人口的诗：“京口瓜洲一水间，钟山只隔数重山。春风又绿江南岸，明月何时照我还。”
与其说是心怀喜悦，毋宁说洋溢着淡淡哀愁。黑色不祥的预感，已萦绕于王安石心头。想当初，“不畏浮云遮望眼，只缘身在最高层”，那种刚刚大权在手的惬意，一扫而尽。
不仅王安石的变法班子内部形同水火，宋神宗对新法也逐渐产生怀疑，再无先前雷厉风行的态度。
为此，王安石也哀叹：“天下事如同煮粥，烧一把火，又泼一大勺冷水，又怎能把粥煮熟呢？”
王安石心灰意冷之际，仍旧在那里死撑。但是，熙宁八年（公元1075年）十一月，天上彗星出现。古人迷信，不像现在人知道科学，个个仰着脖子看“天文奇观”。慧星出现，在古代不是死皇帝就是有大祸事出现，上层下层都骇怕。特别是两个老太太，曹太后与高太后，更是吓得不得了，天天哭劝神宗皇帝再不能用王安石。
曹太后是神宗奶奶辈，高太后是神宗亲妈，两个人的话，极有分量。王安石呢，仍旧认为天文之变有灾的说法是上下附会。
神宗皇帝心里害怕，认定“天变不敢不惧”，并下诏命群臣可直言朝政阙失。所以，当年的大扫帚星，是王安石最终失意离朝的最关键因素。
当然，王安石后来仍旧反复几次，表演“因病不能视事”。但凡事用多了也不管用。神宗熙宁九年（公元1076年）底，王安石自请罢相归田。
神宗皇帝最后也顺坡下，下诏让王安石出判江宁府。
此次出京，于老王来讲也是永别，他再没机会回到汴京。
王安石离朝，实际上也就标志着他“变法”的失败。公元1085年，宋神宗崩，其子赵煦继位，年仅10岁，是为宋哲宗，真正掌权的是其祖母高太后。高太后马上召回司马光。
中国政治家自古以来都喜欢矫枉过正，有“司马牛”之称的司马光其实在偏执方面比王安石好不到哪里去。他一执政，便尽废新法，连同免役法、青苗法这两项利大于弊、初见成效的条例也一并废除，史称“元佑更化”（宋哲宗年号“元佑”）。由此，也揭开宋朝党争的大幕。
公元1086年5月，王安石病逝。年底，尽废新法的司马光也病逝。
北宋灭亡后，逃到江南的宋高宗最恨王安石，认为他误导宋神宗，尽乱天下，并派人编《神宗实录》二百卷，对王安石“盖棺定论”，认定此人是“万世罪人”。特别是王安石那几句“天变不足畏，祖宗不足法，人言不足恤”三语，最为正统封建士大夫所诟病。
当然，从南宋的陆九渊到清朝的龚自珍，也有不少人认为王安石“英特高迈，不屑于流俗”，对他予以很高的评价（特别是诸朝王安石的江西老乡们，对王安石都赞不绝口）。到了20世纪，“孙大炮”和他的国民政府对王安石敬崇有加，而后的新文化运动干将们更认为王安石是“社会主义先行者”。其实，他们都是看中了“摧抑兼并、均济贫乏”这一王安石“思想内核”，而对老王当时对宋朝社会、政治、经济造成的混乱忽略不计。
其实，很多理论都是这样，当时有利，后世未必；当时多弊，后世可能有利。就看后人们如何对这一理论进行“乔装打扮”了。当然，这种打扮皆可假“去芜存精”之名行之。
每个时代的大哲大儒，如果想震唬世人，要不就自立门庭，要不就大肆为古人翻案，以博取眼球注意力，思及此，我们就更应该冷静地站在当时当地去评价某个历史人物。
其实，明朝大哲学家李贽之语对王安石的评价最为公允：“（王）安石欲益反损，使（宋）神宗大有为之志，反成纷更不振之弊。此胡为者哉？是非生财之罪，（乃）不知所以生财之罪也！”（《富国名臣总论》）
君臣开边意未已——宋神宗末年对西夏的两次战败
“新法”受阻，王安石罢相，神宗失去精神寄托，转而去搞官制方面的“改革”，即后世所谓“元丰改制”。此举收效不是很大，无非是例常的裁冗减员而已，但对军兵保甲制度的改革“深化”了许多，对不从者施以重法。
王安石变法之初，王韶向朝廷呈《平戎策》，表示“欲取西夏，当先复河（今甘肃临夏）湟（今青海乐都）”，如此，则可使西夏腹背受敌。同时，河湟地区吐蕃诸部不相统属，如果宋朝不攻，日后为西夏所得，更会成为大患。当时，王安石立刻赞成此计，于是，熙宁五年（公元1072年），宋廷派王韶招抚吐蕃诸部，又打又拉，竟也能在熙河地区拓地一千多里，招抚吐蕃各部30余万人，这就是所谓的“熙河开边”。
当时，吐蕃大头领唃厮啰已经病死（公元1065年死），其子董毡继位（后世称这一血系的吐蕃政权皆为唃厮啰政权）。董毡继位后，仍旧保持与宋朝的友好关系，联宋抗夏，并曾在熙宁三年助宋攻夏，解了宋朝的环庆之围。王韶到任后，接连把熙（今甘肃临洮）、河（今甘肃东乡）、洮（今甘肃临潭）等地占领，实际上是侵蚀了唃厮啰政权原来控制的地盘和部落。
政治关系一向以利益为先，董毡就倒向西夏一边，与西夏结姻，并在河州杀宋将景思。董毡的侄子木征也率其部落犯攻河州。不过，王韶出奇兵，大败吐蕃军，并生俘木征送入汴京。毕竟宋与吐蕃昔日是老朋友，宋神宗招降木征，赐名赵思忠，并委任为官。熙宁十年，董毡派人与宋朝恢复关系，但是，相较从前，双方都内心不大舒服。所以，熙河开边，从长远角度看，失大于得，北宋削弱了吐蕃的唃厮啰政权，自己又不能在当地实行长期稳固的统治，实际上倒是帮了西夏（后来是金朝）的大忙。
西夏方面，元昊死后，其幼子谅祚（夏毅宗）继位，实际统治权在其舅没藏讹庞手中。后来，没藏太后淫荡无度，为其面首李宗贵所杀。没藏讹庞为巩固权力，又把女儿嫁给谅祚为皇后，既是国舅、国丈又是国相，他诛杀由己，臣民都怕他要死。
谅祚成人后，对老丈人很不满。往来之间，谅祚又和没藏讹庞的儿媳梁氏暗渡陈仓，这位国相很恼怒儿婿（外甥）给自己亲儿子戴绿帽，杀心顿起。梁氏慌忙通知谅祚，少年皇帝抢先一步，杀掉没藏讹庞一家（连同他自己的没藏皇后），终于亲政，立梁氏为皇后。
谅祚执政后，一面大力推行汉化（改用李唐赐姓“李”）；一面整顿军务，对宋朝和吐蕃进行军事侵扰，但两方面他都没得大便宜，还失去绥州（今陕西绥德）之地。
于是，小伙子又与吐蕃盟好，向宋朝“谢罪”。公元1067年（北宋治平四年），谅祚病死，时年仅21岁，庙号毅宗。这小伙1岁即位，亲政也没几年，但对西夏国内的文治建树甚多。
谅祚死后，其子秉常继位，年方7岁，自然又是其生母梁太后掌权。梁太后的弟弟梁乙埋为国相，梁氏宗族气焰熏天。
梁太后虽为汉人，但她却废汉仪，开历史倒车，改回元昊时的蕃仪。为建树威权，梁太后亲自发动对宋战争，攻打秦州、环州、庆州等地。熙宁四年（公元1071年），宋将种谔率宋军深入横山要冲啰兀，大败夏兵，并筑起啰兀城（在无定河边）。见宋人如此深入国境，梁太后与其弟梁乙埋倾尽全国之力，经过血战，夺下啰兀城。虽然取胜，西夏国内经济凋敝，梁太后只得又与宋廷议和。