武德二年九月刘文静被杀之后，在并州前线领兵的裴寂战败，逃回了关中，在这种情况下，李渊不得不重新起用了李世民。等到李世民收复晋阳之后，很快又与齐王李元吉一起领兵东下，一举消灭了王世充和窦建德二王，至此，李世民的声望也达到了顶峰，在东出关东的这一年中，他也大大地扩充了秦王府的实力，夺嫡的野心更为明显。李渊掌握了这一动向，及时采取了明升暗降的策略，给予李世民天策上将军的虚衔，又把秦王府的下属外派到外地任职，剪除了李世民的羽翼。然而，出乎所有人意料的是：看似已经安定下来的关东地区，又出现了一个刘黑闼和气势汹汹南下的突厥以及突然反叛的辅公祏，李唐内部的政治斗争只好又暂时放在了一边。
经过一番手忙脚乱之后，到武德七年上半年，全国局势基本上已稳定，而李建成、李元吉与李世民之间的矛盾却逐渐激化了起来。齐王李元吉曾经劝说李建成除掉李世民，并说：“我替哥哥亲手杀了他！”一次，李世民跟随李渊一起驾临李元吉的家中，李元吉提前让护军宇文宝埋伏在卧室之内，打算行刺李世民。李建成性格仁厚，担心惊吓了父皇，连忙制止。李元吉怒道：“我是替哥哥您打算的，与我有什么好处！”但是，为了自保，李建成也擅自招募了长安以及四方骁勇之士两千余人担任东宫卫士，分别驻扎在太子宫左右长林门，号称长林兵；又暗中命令右虞候可达志从燕王李艺那里调来了三百名幽州突骑，配备在太子宫的各个官署，打算逐步把他们变成太子卫队的正式人员，但此事被人告发，李渊把李建成召来斥责了一通，将可达志流放到了嶲州。
据《新唐书?李元吉传》称：“时秦王有功，而太子不为中外所属，元吉喜乱，欲并图之。乃构於太子曰：‘秦王功业日隆，为上所爱，殿下虽为太子，位不安，不早计，还踵受祸矣，请为殿下杀之。’太子不忍，元吉数讽不已，许之。”也就是说，李元吉并非没有企图，他见李建成仁厚，地位不牢，打算将李建成和李世民一并除去，所以才支持李建成除掉李世民，而李建成在最初的时候却不忍心，在李元吉的反复劝说下，他终于答应了。
武德七年五月，李渊下令在宜君县的玉华山凤凰谷中修建了一座行宫仁智宫，这座宫殿仅仅经过一个月的建设就完工了，到了六月三日，李渊带着李世民、李元吉一起前往仁智宫避暑，命李建成在长安留守。临行前，李建成命李元吉伺机刺杀李世民，说：“安危的关键，就在今年。”庆州（今甘肃省庆阳市）都督杨文干原本是李建成的部下，二人关系很深，李建成曾命他招募壮士，秘密送到长安。李建成又命令郎将尔朱煥、校尉桥公山把铠甲送给杨文干。
尔朱煥和桥公山行至豳州后，就向李渊告发，称李建成命令杨文干起兵，二人里应外合；又有宁州人杜凤举也来到仁智宫揭发。李渊得报后，不禁大怒，借口有其他事情需要商量，给李建成写下亲笔诏书，命其赶往仁智宫。李建成接到诏书后，不明就里，吓得不敢前往。太子舍人徐师謩劝说李建成占领长安，起兵；太子詹事主簿赵弘智则劝说李建成轻车简从，亲自前往仁智宫，面见李渊谢罪，李建成答应了。
李建成一行来到距离仁智宫六十里的毛鸿宾坞堡后，他把随从全部都留在此地，只带十余名骑兵拜见李渊，叩头谢罪，恳请饶恕，整个身体投于地上，因用力过猛，几乎气绝而死。李渊仍然余怒未消，当晚，将李建成软禁在帐幕之中，只送给一点粗麦饭，命殿中监陈福看管，又派司农卿宇文颖飞马赶往庆阳，征召杨文干。宇文颖与李元吉私交很深，他来到庆阳后，反把情况告诉给了杨文干，杨文干遂起兵发动了叛乱。李渊命令左武卫将军钱九陇与灵州都督杨师道（李渊五女婿）合击杨文干。
六月二十六日，李渊召见李世民询问对策。李世民回答：“杨文干不过是一介狂徒，其胆敢造反，我判断已经被其下属生擒了，如若不然，只需派出一名将军就足够了。”李渊说：“不对。杨文干的事牵扯到李建成，恐怕响应的人会很多，你该亲自走一趟，事成之后，我将立你为太子。我不能像隋文帝那样自己杀死自己的儿子，我还是会封建成为蜀王的。蜀国的军队非常弱小，以后如果能侍奉你的话，你要保全他；如果不能侍奉你，你制服他也比较容易。”即便李渊真的说过这些话，曾经对裴寂说过李世民已不再是自己昔日的孩儿的他，说的肯定也不是真心话。
杨文干叛乱一事迷雾重重。
李渊带着李世民和李元吉前往距离长安数百里的仁智宫，身边不会不带上大批人马，在这时李建成却要让远在庆阳的杨文干举兵，这原本就是匪夷所思的。尔朱煥和桥公山给杨文干送去铠甲大约是实情，但这并不意味着李建成要命杨文干起兵，更何况，在李元吉家中那么好的机会，李建成就不愿向李世民痛下杀手，如今，他怎么会舍易就难，不惜背上一个背父之名要发动政变呢？而事情的真相可能是：尔朱煥和桥公山则极有可能被李世民收买了，李世民让二人告发，其目的就是想激变李建成，然后，可以名正言顺地取而代之，让李建成落入汉武帝卫太子刘据不得自陷谋反的境地。然而，冷静的李建成毕竟不同于刘据，他没有采纳徐师謩的建议，而是采纳了赵弘智的建议，冒着生命危险只身前往仁智宫解释。李建成的解释和行动让李渊很快就清醒了，他决定把杨文干召来对质。
不料，前去庆阳的宇文颖却把太子李建成被逮捕的消息告诉给了杨文干，不明真相的杨文干为了自保，仓促之间就举兵了。消息传来，当面对质已经不可能了，而此时的李渊又该如何应对这场危机呢？仁智宫远离京师，隋文帝在离宫被杀的往事肯定会浮现在李渊的脑海，经过一天一夜的思考，李渊肯定已对这一事件做出一个大致的判断：仅凭尔朱煥三人的口供还无法坐实李建成真的要谋反，况且，李建成也没有理由造反，即便真有可能，也是为人所逼，此人当然是秦王李世民；这一事件也很有可能是李世民幕后策划的一场阴谋，假如真的如此，如今不及时惩处李建成，自己又远离京师，李世民在阴谋落空的情况下，就可能会采取第二套方案，铤而走险，这样一来，自己的处境就危险了，这也许就是李渊在二十六日召见李世民问计的原因。李世民当然不愿远离仁智宫，提出杨文干已被部下抓获的判断，又称可以派一名将军前往，但李渊却提出让李世民亲自前去的打算，为了能达到把李世民从仁智宫支开的目的，李渊不惜以事成之后让他当太子为诱饵。李世民听了李渊的话，当然觉得和平接任太子总比冒险政变要好得多，遂打消了原计划，按照李渊的指示前往庆阳了。
李世民提出杨文干已被部下抓获的判断，又称可以派一名将军前往，其目的就是不愿远离仁智宫，并且试探李渊的内心，但他却低估了老谋深算的李渊，李渊坚持让李世民亲自前去的打算，表面上说了一番冠冕堂皇的理由，其真实目的却是为了把李世民从仁智宫支开、解除自己的眼前之危，为了达到这一目的，李渊在李世民面前继续装傻，做出一副深信李世民的样子，并不惜以事成之后让他当太子为诱饵。
李世民听了李渊的话，当然觉得和平接任太子总比冒险政变要好得多，遂打消了原计划，按照李渊的指示前往庆阳了。