突厥退去后，晋阳文武官员都来向李渊道贺，李渊却说：“你们暂时还不要道贺，我将为你们把突厥人召来并利用他们。”
李渊当即亲自给突厥人写了一封书信，信的内容是：“你们听到了什么而到来，又看到了什么而离去，你们来而又去，这岂不是天意？我知道是天意，所以才没有发兵追击，你们知道是天意的话，就该与我心意相同。如今，隋国大乱，百姓困苦，如不救济，终当被上天所责罚。我如今将兴起义军，平定天下，迎回主上，与突厥恢复和亲，与开皇时一样，这岂不是一件好事？况且，当今皇帝虽然令可汗不满，但可汗岂能忘记高祖皇帝（即隋文帝杨坚）的恩德？如果能答应我，不侵扰百姓，征伐所得，子女玉帛全部归可汗所有。中原路远，突厥难以深入，现在我们和好，可汗坐享珍宝，不用劳动兵马，个中得失，请可汗斟酌。”写完，李渊让人在信封上写道李渊启。根据《新唐书·百官志》记载，下对上的文书，有六种称谓：一是表，二是状，三是笺，四是启，五是辞，六是牒。当时有人说：“突厥人不识字，只贪图钱财，只要给其丰厚的礼物就行，还是把‘启’字改为‘书’字。”李渊笑着说道：“你怎么如此糊涂啊。自从大乱以来，逃到突厥的汉民很多，书生也不少，他们也懂得了中国的礼仪。我们就是尊敬他，他也许还会不信我们呢，更何况有所慢待，就更增添了猜忌和疑虑。古人说过：‘屈于一人之下，伸于万人之上。’况且，一个启字又不值千金，千金尚且要送给他，还吝惜一个字呢？”于是，派使者飞马把书信送给了突厥人。
东突厥始毕可汗接到李渊的书信后，大喜，他对突厥贵族们说：“我就知道唐公不是寻常之人，果然做下非常之事。但唐公打算奉迎隋主，与我和好，这一点不行，我不能听从。隋主的为人我是知道的，如果把他迎接回来，肯定会猜忌唐公，再加上与我有旧怨，一定会干戈再起。唐公以此要我帮忙，我不会去。唐公自己当天子，我会不顾炎热，发兵相助。”即命人给李渊写了回信，并对使者说：“唐公如果接受我的意见，应立即回复，我当派遣大官前去沟通。”使者七天后就从突厥那里返回到了晋阳，晋阳众将都很高兴，请求李渊答应下来。李渊看了书信，叹息很久，说道：“如果不是有天命，此胡人岂能这样？然而，我身为人臣，理当为国尽忠。主忧臣辱，还未举义兵，就目无尊上，自立为帝，这不行。我原本是担心我军南下后，突厥会南侵，因此才屈节联合，为的是安定晋阳之民。殊不知今日突厥的回信，竟然如此相逼，只能与其绝交，决不能接受。”李渊拒绝称帝，绝非他说的那样是为了向隋王朝尽忠，但当突厥人让他称帝，岂不是正中下怀，他为何不顺水推舟笑纳呢？这就是人家李渊的高明之处。始毕可汗奉劝李渊称帝，当然是别有用心的，其目的就是让李渊成为像刘武周、梁师都、郭子和等人一样臣服于突厥的“儿皇帝”，而李渊当然想当皇帝，但他要当的是真正的皇帝，而不是向突厥人称臣的皇帝，他是要按照自己的意愿对突厥进行拉拢、利用，而不会把突厥可汗奉为至尊，对突厥唯命是从。
然而，如果断然拒绝突厥的要求，势必会引起不利后果，但由于李渊说得决绝，大家都不敢劝谏。兴国寺的兵士们听说李渊没有接受突厥人的要求，不少人私下说：“大人如果不听从突厥，我们也不能在听从大人了。”裴寂和刘文静等人知道后，就把士兵们的转告给了李渊，李渊脸色一沉，说道：“你们都是隋臣，大家一起共事，却以此劝我，你们的臣节都跑哪里了？”裴寂等人回答：“假如让伊尹、吕尚尽忠于夏桀和商纣的话，二人也当不成商汤和周武王的臣子了。裴寂等人转而侍奉大人您，就不敢拘于小节。况且，如今部队已经集合起来了，缺乏的是马匹。突厥人倒是并不亟需，亟需的是马，如果再耽误，恐怕他们会后悔的。”李渊说道：“事情如果不仿效过去，就很难成功，你们还是要三思，再想想其他的对策。”
等到六月初李建成和李元吉等人来到晋阳后，李渊高兴极了。裴寂等人在与李建成、李世民等人充分协商后，终于做出了一项决定，即：依照伊尹放逐太甲、霍光废黜昌邑王的旧例，废黜隋炀帝而拥立代王杨侑，以此向各地发布檄文，改变旗帜的颜色，改用白色旗帜。这一提法与始毕可汗让李渊称帝的本质区别就在于：这一提法是反隋炀帝而不反隋朝。其好处不言自明：一是避免了向突厥人称臣的问题，相反，突厥人原本还是隋朝的臣子，现在我李渊只反隋炀帝这个暴君而不反隋朝，那我与你始毕可汗至少是平起平坐的，都是隋朝的臣子，我们之间就不存在臣属关系了；二是反隋炀帝顺应天下人的意愿，更能团结社会各阶层的人士，尤其是那些对隋朝还心存幻想的人；三是循序渐进的做法，在中国历史上由来已久，以权臣的姿态最终夺取政权，不仅不显得突兀，而且还水到渠成，可以进退裕如。
李渊听了大家的建议，说道：“这也是掩耳盗铃啊，然而，时局如此，也不得不这样了。虽说是得罪了后主，但毕竟没有辜负先帝，大家的意见既然一致了，我又岂能反对？”说完，不禁唏嘘不已。裴寂等人劝道：“文皇帝传位给后主，让杨素专权，亡国破家，这由来已久。人神共怒，降下大祸，招致天罚，也是咎由自取。”李渊遂批准了这一建议，派人前往突厥告诉了始毕可汗。李渊又说：“讨伐商纣所用之旗，是在牧野战前临时使用的，应该兼用绛色，一半对一半。”各军军旗红白相间，宛如花园。开皇初年，童谣称：“法律存，道德在，白旗天子出东海”民间还流传一句“白衣天子”的话，因此，隋炀帝经常身穿白衣，三下江都；如前所述，又有《桃李子歌》：“桃李子，莫浪语，黄鹄绕山飞，宛转花园里。”如今，当地百姓看到红白相间的军旗迎风招展，就像在花园里一般，个个欢呼雀跃，从此以后，每天都有上千人前来参军，二十多天，又招募了数万人马。李渊每次看到飘扬的战旗，总是笑道：“花园已不错了，但不知黄鹄是否应验。我将一举千里，以应谶言！”