那时（大业十二年时）的李渊就已经不仅仅表露出自己反隋的意愿，而且开始暗中采取行动了，虽然这些行动进行得非常隐秘。推进到马邑以后，李渊和王仁恭的军队加起来也不过五千多人，王仁恭因兵少非常害怕。李渊知道王仁恭的心思，就对他说道：“突厥擅长的不过是骑射而已：见到好处就蜂拥而上，遇到困难掉头就走，风驰电掣，不设固定的军阵；他们把弓箭当作主要武器，铠甲就是日常服装；没有整齐的队伍，也没有固定的营垒；随着有水草的地方而修筑简单的住所，把羊和马当成军粮；战胜了，只知道夺取钱财；战败了，也毫无羞耻之色。不需要昼夜巡视，也不用从后方输送粮食。中原军队的做法却正与之相反，因此，在与其作战时，很少能够取胜。如今，我们只要与他们的做法一致，学习他们的特长，他们知道前来没有什么好处，自然就不会再来。如今陛下远离此地，我们困守孤城，如果不与敌人决一死战，生存下来的希望就很渺茫”王仁恭因为李渊是隋王室近亲，也不敢提出异议，遂从军中挑选了擅长骑射的两千多人，饮食行止完全模仿突厥，每次遇到突厥侦查骑兵，这支隋军旁若无人，照样驰骋射猎，耀武扬威；而突厥人见到后，也总是误以为是自己人。部将们多次劝说出击，但李渊总是引军退去，如此两三次，众人士气高昂，都决心与突厥好好打一仗，于是，等到再次与突厥人遭遇后，李渊即下令向突厥人发起猛攻，大破敌人，斩首上千级。从此以后，突厥闻风丧胆，约束本部，不敢擅自南下了。
暂时解除了突厥的威胁之后，太原周边的变民又猖獗起来了。上谷（今山西省广灵县西）王须拔的部下魏刀儿自称历山飞，拥有数万人马，在大业十二年就接连击败隋军，在太原以南的上党（今山西省长治市）、西河（此处当指北魏时设立的西河郡，即在今山西省临汾市一带）郡所向无敌，太原、马邑的隋军宛如汪洋中的孤岛。为了守住山西，大业十三年，隋炀帝任命李渊为太原留守，郡丞王威、武牙郎将高君雅为副留守，李渊也率军离开马邑南下，回到了太原。
接到任命后，李渊私下非常高兴，他对次子李世民等人说道：“唐国原本就是我的封国，太原就是其地。如今，我又被派到此地，这是上天交给我的。天与不取，反受其咎。然而，如果打不败历山飞、又不能与突厥人和好的话，就无法济世安民。”此时的李渊已确定了南面消灭变民军、北面结好突厥人的策略，于是，李渊率领王威等人凑集了五六千人南下前去讨伐魏刀儿。
两军在河西的雀鼠谷（今山西省介休市南）口遭遇，当时变民军有两万人马，隋军上下都非常害怕，李渊却从容淡定，他笑着对王威等人说道：“这些家伙们不过是一群鼠目寸光的强盗而已，只想劫财，他们自恃连连取胜，自以为会再次全胜。如果我们与其死拼，可能难以取胜，如果运用计谋，则没有不成功的。我担忧的是敌人不来寻战，如果他胆敢前来，一定能够将其击破，你们就不用担心了！”
不一会儿，敌人果然一齐压上来了，队伍绵延了十几里，首尾相连。李渊见敌人逐渐接近，命令将部队一分为二，让老弱之兵居中，打起很多旗帜，又把辎重全放到后面，作为大阵，正面与敌人接战；又将手下数百名精锐骑兵也分成左右两队，分处大阵两翼。临战时，李渊命令王威假扮主帅，率领大阵挡在前面。变民军见帅旗所在，集中全力向大阵杀来，大阵中的老弱残兵不敌，很快就败退了。王威也吓得掉下马来，被随从保护着才得以逃脱。变民军冲破隋军大阵以后，很快就发现了大阵后面的辎重，纷纷下马争夺。在大阵侧后方的李渊见状，立即率领左右精锐骑兵大呼向前，左右夹击，顿时箭如雨下，变民军陷入一片混乱，数万变民军一时归降。
但很快突厥人就得知了李渊已经南下、马邑太守王仁恭孤立无援的消息，遂多次南下侵扰马邑，李渊又派副留守高君雅率军北上增援，但王仁恭等人却接连战败。不久，在江都的隋炀帝听到后，认为李渊、王仁恭贻误战机，致使突厥带来边患，下令将李渊逮捕押往江都、将王仁恭斩首。李渊因为自己的姓名见于图谶之上，深恐受到隋炀帝的猜忌，十分担忧。当时，长子李建成在河东的老家，唯独次子李世民在李渊身边，李渊对李世民说：“隋朝历数已尽，我家上应图谶，之所以没有趁早起兵，是因为顾及到你们兄弟都还未脱离险境啊！今天，我身陷囹圄，像周文王那样遭遇羑里之灾，（一旦我有个三长两短），你们兄弟也要像周武王那样发起孟津之师，不要父子一起受死，弄得家破人亡，令天下英雄耻笑！”李世民哭着对父亲说：“芒砀山（刘邦曾经落草之处）中，处处可以藏身，请求父亲能像汉高祖刘邦那样，暂且落草，以观事变。”李渊回答：“如今我们的时机已经到来，但我却偏偏被打入了大牢，虽然能洞悉事态的变化，又能有什么作为！然而，如果上天已经确定我将昌盛，这次灾难未必不是上天来启发我的，如今，我将更加谨慎勤勉，以此来预测上天的真意。如果上天真的要护佑我，他岂能害我？如果上天要让我去死，我又能到哪里躲避呢？”数日后，果然隋炀帝又派人前来，赦免了李渊、王仁恭二人，令其官复原职。
隋炀帝自从大业十二年南巡江都以后，太原与江都之间的联络就中断了，而这一次使者竟然一路顺畅，按时到达了太原。使者来到太原城下时，正值深夜，温彦将在城西门楼上最先望见，向大哥温彦弘禀报，由温彦弘向李渊报告。温大雅，字彦弘，他的次弟是温彦博，字大临；温大有是他的三弟，字彦将。温氏三兄弟与颜氏三兄弟（即写下《颜氏家训》的颜之推的三个儿子颜思鲁、颜愍楚、颜游秦）在当时就以博学而闻名于世。《大唐创业起居注》就是温大雅所写。
李渊当时正在睡觉，他从床上惊起，紧紧握住温彦弘的双手，笑着说：“我以后的生命，实在是上天赏赐的啊！”他对李世民说：“我听说只有神人才能如此神速，这是上天在激励我啊，我当见机而作！”就这样，李渊下定了起兵的决心，于是，他命令长子李建成在河东老家联络豪杰，次子李世民在晋阳（即山西省太原市）也暗中招徕英雄。《大唐创业起居注》称：“太子（指李建成）及王（指李世民）俱禀圣略，倾财赈施，卑身下士。逮乎鬻缯博徒，监门厮养，一技可称，一艺可取，与之抗礼，未尝云倦。故得士庶之心，无不至者。”