任得敬虽说此时既是国相又是楚王，权倾朝野，爪牙众多，可是朝廷并不全是他的天下，有一部分正直的大臣不肯趋炎附势，坚决站在了他的对立面。这些人向来瞧不起任得敬这种人渣，所以就搞起了非暴力不合作运动，时不时就上书弹劾一下任得敬和他的党羽，前面提到的王举，就是这一类人。
王举毕竟已经罢官而去，无法再对任得敬造成任何威胁了，真正能让任得敬有所顾忌的，是四个人。
第一个人在前面已经出过场，他就是热辣公济。热辣公济最早看出了任得敬的野心，并采取措施试图阻止，正是由于他和濮王仁忠的共同努力，才粉碎了任得敬首次入朝的阴谋。任得敬受封楚王后，越发得意忘形，他出入宫廷的车马仪仗几乎与李仁孝一模一样了，这在热辣公济看来是无法容忍的，他当即上书予以弹劾，虽说最后未能奏效，至少表明了他绝不向恶势力低头的态度，而这恰恰是很多人做不到的。
第二个人，叫焦景颜。焦景颜和热辣公济一样，也是个嫉恶如仇、眼睛里容不得沙子的主。他当翰林学士的时候，曾与枢密副都承旨、任得敬的侄子任纯忠论事。任纯忠原本理屈，可他仗着叔叔任得敬的权势，死不认错。焦景颜一向瞧不起这种狗仗人势的垃圾，当即火冒三丈，直骂任纯忠是奸臣，任纯忠当时就怂了，跟霜打的茄子一样。仁孝从这件事情里看出了焦景颜的耿耿忠心，随后便让他兼任枢密都承旨，成了任纯忠的顶头上司。
第三个人，叫斡道冲。
斡道冲，字宗圣，他的祖上是灵州人，曾追随李继迁为恢复故土而奔走。李德明迁都怀远的时候，斡家也随之北迁，成为了首都公民。
斡氏家族是书香门第，西夏历代皇帝都把撰修国史的重任交给他们。由于受家族熏陶，整日与笔墨纸砚作伴，斡道冲从小就特别热爱学习。八岁那年，他凭借对《尚书》的精通，中童子举，时人谓之“神童”。
长大后的斡道冲更是学识渊博，他不仅通读五经，而且还通识西夏文和汉文。当时许多汉文典籍没有西夏文版本，不方面西夏人民认识和了解，斡道冲就将儒家经典《论语》翻译成西夏文并加以注释，在全国刊行。此外他还著有《论语小义》、《周易卜筮断》等著作。
鉴于斡道冲对国家文化事业的杰出贡献，西夏天盛三年（1151）十二月，仁孝任命他为番、汉教授，负责培养后备干部。
斡道冲不仅是个才高八斗的学者，还是一个正直不阿的大臣。看到任得敬整日飞扬跋扈、滥杀无辜，斡道冲十分气愤，多次冒着生命危险在仁孝面前弹劾任得敬和他的党羽，把任得敬恨的牙根痒痒，必欲除之而后快。
很快任得敬就碰了钉子，原来斡道冲出身官宦世家，在朝中颇有影响，他本人又刚正廉洁，毫无把柄可抓，任得敬忙活半天，仍然无能为力，只能在背地里磨牙。
这第四个人，叫仁友。仁友是宗室子弟，受封郡王，他对任得敬专权也十分不满，但由于为人低调，从不公开表态，所以知道他立场的人很少。
仁友是个聪明人，在他看来，对付强大的敌人，暂时隐藏在暗处，是很有必要的。
热辣公济、焦景颜、斡道冲、仁友这些人基本上就是朝中正义人士的全部代表了，他们后来都将成为任得敬的掘墓人。
接下来，让我们来看看任得敬是怎样一步一步走向灭亡的吧。
西夏天盛十二年（1160）十月，也就是在进爵为楚王半年后，任得敬向仁孝上书，请求废除学校。
这是一个让人难以理解的建议，对此，任得敬有自己的理由，他说：“治国要勤俭节约，教化民俗要权衡利弊，我国处在蛮夷之地，地瘠民贫，财力原本就捉襟见肘，而国家却要花费大量的钱财来养活那些儒生，有什么用呢？科举之法乃中原王朝之举措，难行于我国，希望陛下将它们一并罢行。”
任得敬这种毫不利人、专门利己的人，怎么会突然为国家考虑呢？事实上，他有着不可告人的目的。有了学校，有了科举取士，国家就会从正规渠道选拔官员，那他还怎么安插亲信、任人唯亲？而且，这些深受儒学教育的人总是对自己抱有敌意，他如何还能容忍学校和科举制度的存在？
仁孝没理他。再苦不能苦孩子，再穷不能穷教育，国家再穷，难道连几个学生也养不起吗？他不仅否定了任得敬的建议，还很快成立了翰林学士院，专门培养后备官员，任得敬的阴谋宣告破产。
西夏天盛十七年（1165）五月，任得敬征调十万民夫，大兴土木，改建自己所居住的灵州城。
这是一个很危险的信号，标志着任得敬打算篡国自立了！
现在的任得敬早已不再满足于一人之下、万人之上的地位了，他想要做九五之尊的皇帝！他的想法是，让仁孝远居瓜州、沙州这些鸟不拉屎的地方，自己占据兴州、灵州等富庶地区，改造灵州城，就是为他以后当皇帝做的准备工作。
迫于任得敬的淫威，十万民夫不得不在酷热的天气下修城，许多人因此累倒，体格弱的甚至直接累死，一时间怨声载道，所有人都极为不满。
西夏天盛十九年（1167）十二月，任得敬身患重病，西夏本国无良医可治，仁孝遂派人前往金国求医，金世宗派太医王师道前来。王师道到了西夏，药到病除，治好了任得敬的病。之后仁孝派任得聪前往金国答谢，任得敬耍了个心眼，让任得聪带上了自己的答谢表书和礼物。
任得敬的心思是这样的，仁孝上表答谢，他也上表答谢，金世宗一高兴，说不定就照单全收了，这样自己不就与仁孝平起平坐了？这一次若是能成功，以后大可以一直用这招，等到自己篡位的时候，金国那边就没什么大的阻力了，温水煮青蛙，咱们慢慢来。
任得敬的如意算盘打得挺好，要是一般人估计就上当了，可金世宗偏偏就不是一般人，他一眼就看穿了任得敬的把戏，撂下一句冷话：“任得敬要有点自知之明，他是西夏的臣子，哪有资格给我上表献礼！”随后，他命人退回了任得敬的表书和礼物，任得敬的算盘又一次落空了。