就在李靖平定吐谷浑的同月，唐朝太上皇李渊因中风之疾意外驾崩，享年七十岁。唐太宗为替父皇守孝，暂时不理朝政，只派人通知李靖尽快率军回朝，结果李靖迟迟未归。不久后，有人上书弹劾李靖，说他拥兵自重，准备联合西平郡王顺，发兵背叛大唐。弹劾李靖的不是别人，正是李靖帐下的诸位副将之一：高甑生。唐太宗捺下弹劾李靖的奏疏，随意地扔在了一旁，说此事真假朕会派人核实，一切等服丧期过了再作理会。有官员建议唐太宗紧急通知西部边境官员，让他们作好戒备，万一李靖联合吐谷浑大军真的打过来，这可不是闹着玩的。唐太宗道：“此事大可不必，别说李靖压根不可能谋反，他若真的谋反，边境作不作准备有什么区别，难道就凭那些人，还能拦得住他吗？”他把国家军政大事全部交给太子李承乾打理，对李靖等人的行踪不再过问。
此时的李靖，正在为怎么回国发愁。大家还记得拓跋赤辞吗，对，就是那位派出向导给唐军带路的党项族首领，这位兄弟是个实诚人，早在和唐军结盟之初就明确表态：是朋友，来了有美酒，是敌人，来了有弓箭。李靖和他结了盟，发了誓，保证自己是朋友，所以拓跋赤辞派出手下鞍前马后的替唐军效力。可哪知道唐军内部出了一个败类—李靖的另一位副将，奉他的命令留守吐谷浑的李道彦。李道彦是李神通之子，也是唐太宗的族弟。这位将军没有跟随主力出征，自然也没有机会参加李靖等人在西域举行的庆功宴。可是他身为大唐宗室，同样为唐军平定吐谷浑，并擒杀伏允而高兴啊，那怎么办？
好办，别人庆功不带咱们，咱们自己办个宴会庆祝一下呗。
按说李靖去西域之前，留给李道彦的粮食应该很充裕（唐朝北路军缴获极多）。可李道彦不知怎么想的，放着自己的牛羊舍不得吃，竟趁拓跋赤辞疏于防备，派兵又去对方驻地一下子偷了几千头牛羊回来。党项人虽然民风淳朴，但并不傻，见自己辛苦养殖的牲畜突然大量失踪，自然怀疑到驻军在附近的李道彦等人身上。李道彦没把小小的党项族放在眼里，见赖不过去，索性大方承认：没错，就是我干的，你能咋滴？
拓跋赤辞火了：看我打不死你！
双方在野狐硖（地名）爆发激战，由于李道彦盲目轻敌，一战下来，留守吐谷浑的唐军几乎全军覆没，仅阵亡人数就多达数万人！这是唐太宗登基以来唐军所遭遇的最惨痛的一次失利，李道彦自知死罪，一路逃至松州（在今四川省松潘县），派人向李靖求援。李靖惊闻该噩耗，一时如遭五雷轰顶，经他深思熟虑，他发现：要打败拓跋赤辞，为李道彦报仇不难；难的是，此战李道彦完全是自取其辱，人家拓跋赤辞是相助唐军平定吐谷浑的大功臣，而且事先与自己定过盟约，道义上压根没错。不过，党项人一下子杀死了这么多唐军，对其不施加任何惩罚也是说不过去的—就算他们的初衷是正当防卫，结果却是防卫过当。
李靖于是派人责问拓跋赤辞，令其亲自前往松州向李道彦赔罪，这样一来，双方都有台阶可下。哪知拓跋赤辞对此一口回绝，率族人据守野狐硖，截断李靖回国之路。李靖与党项人相持多日，因拓跋赤辞坚守不出，李靖下令全军绕道而行，改经肃元山（地名）归国。拓跋赤辞也是夜郎自大，打了场胜仗真觉得自己是那么回事了，竟然下令党项人从后追击李靖的大军，结果自然是中了李靖设下的埋伏，被唐军斩首数百级，损失牲畜六千余头。拓跋赤辞吃了这一挫，始有畏惧之心，这才听从李靖劝解，向手下败将李道彦负荆请罪。事后，李道彦因损兵折将遭李靖弹劾，被削去官爵流放至边远地区；拓跋赤辞却因李靖的举荐，带着族人迁徙至松州，从此被朝廷任命为大唐西戎州都督。
李靖在处理党项人叛乱这件事上，为求尽量公允，耗费了许多时日，因此才有流言蜚语传入朝廷，说他不及时回国，是准备谋反。好在云雾拨开，终见天日，距离唐军平定吐谷浑两个月后，公元635年七月，远征西域的唐军凯旋回国，即将抵达凉州。李靖此时上表朝廷，请求派特使前来，双方交割兵权。唐太宗本来就没怀疑过李靖的忠诚，得报大喜，颁诏下去：高甑生身为副将，诬告主帅谋反，其罪当诛，念其此战有功，免去死罪，判处流放之刑。同时，唐太宗另派出使节带着牛酒前往大斗拔谷（地名，连接甘肃和青海两省的一处狭道）劳军，以抚慰李靖和他麾下众将。
和远征西域时一样，行走在唐军大部队最前方的，仍是契苾何力和薛万均、薛万彻兄弟。唐军先锋和朝廷使节在大斗拔谷相遇后，又有变故发生了—薛氏兄弟当着使节的面，激烈地指责契苾何力畏战不前，在西域时多次企图放走敌人，幸亏他们两兄弟不畏艰难，孤军奋战到底，才相助主帅李靖成功赢得了这次伟大的远征。契苾何力大怒，对薛氏兄弟拔刀相向，朝廷使节不明究竟，令人把契苾何力绑了，带回朝廷交由皇帝发落。唐太宗听说竟然有这等事，专门召见契苾何力，责问他为何要当众攻击同僚，契苾何力双目含泪，将事情的原委如实交代，同时为自己情绪失控，险些杀死唐军将领向皇帝赔罪。唐太宗随后向李靖询问此事，李靖连杀死数万唐军的党项人叛乱都能秉公处理，自然也会义无反顾地替铁勒人契苾何力作证。了解清楚来龙去脉之后，唐太宗怒不可遏，打算削去薛氏兄弟的官职，并收回二人的赏赐之物，全部改授于契苾何力。这么一来，契苾何力反倒不好意思了，他执意推辞了唐太宗的好意，说道：“陛下能够不以民族之见，公正的对待众将，末将便已心满意足。如今，陛下身为天可汗，四海之内皆是您的臣子，在处理麾下的汉族、胡族官员的问题上必须慎重，如果对臣赏赐太多，对薛氏兄弟责罚太重，不知详情的官员会误以为陛下重视胡人而轻视汉人，一旦以讹传讹，对大唐社稷的稳定不利。薛氏兄弟此战实有大功，赤水源一战，二人率数百唐军大战数万敌军，哪怕身负重伤，也宁死不降，请陛下给予他们应有的表彰。”唐太宗赞许他的意见，于是没有责罚薛氏兄弟，传令下去：但凡参加此次远征的所有唐军将领，除了已经被判作流放的李道彦和高甑生，其他人一律加官进爵，受朕亲自召见。
唐军众将无不喜悦，唯有李靖面带忧色。待唐太宗服丧之期过了，重新临朝执政，李靖又一次请求告老还乡，见皇帝对自己依依不舍。李靖坚决地说道：“陛下向老臣承诺过，反击吐谷浑一战，是老臣最后一次为大唐亲临战场。天子一言，驷马难追，今后无老臣为陛下分忧，请陛下保重！”言毕，即拜别皇帝而去。
李靖说到做到，从此之后，他永久性地脱下了戎衣，深居不出，阖门自守，不再过问任何军国大事。有仰慕其才学的后辈将领前来求教兵法，李靖一律谢绝不见，即使是他的亲戚、好友，也不得妄进他的府宅。唐太宗是明白人，感慨道：“先有高甑生诬告李靖谋反，后有薛万均、薛万彻窃取契苾何力的战功，朕虽洞察一切，皆予以妥善处置。但李靖因此知道，人言可畏，将领不仅需要面对战场上的敌人，还需要防着自己军中的小人。唉，由他去吧，不过他为大唐所作的一切，朕会永远铭记于心！”
数年之后，唐太宗改封李靖为卫国公，该爵位世袭罔替，后人为示对李靖的尊敬，因此不称呼其名，皆以“卫国公”称之。唐太宗又令人绘制唐朝开国功勋的肖像，共计二十四人，陈列在凌烟阁—这就是著名的“大唐凌烟阁二十四功臣”。凌烟阁共分内外三层，每层放置八位功臣的画像。最中间的一层是功劳最大的宰辅之臣，而且基本都参加了玄武门之变，以长孙无忌、尉迟敬德为代表；中间一层功劳次之，以屈突通、柴绍为代表；最外一层功劳再次之，以侯君集、秦琼为代表（家喻户晓的“门神”秦琼刚好排倒数第一，这…）。经唐太宗定夺，没有参加玄武门之变的两位特殊功臣，皆位列第一等。其中魏征位列第四，李靖位列第八。唐太宗又令人提前为李靖建造坟茔，其规格严格按照“大汉双壁”卫青、霍去病的旧例，坟茔呈两山形状，一座是位于突厥国境内的铁山，一座是位于吐谷浑境内的积石山。综观凌烟阁二十四位名臣、名将，唯有李靖享受到这一殊荣。
原因无他，因为只有他才担得起“唐朝第一军神”的赞誉。