李密的提议得到了在场所有将领的认可，于是一行人集合了两万军队，就这样踏上了前往长安的征途。这是一个艰难的决定，在途中，李密多次回首向洛阳方向眺望，眼神依依不舍—他这一走，散落在关东的数十万军队，上百座城邑，还有四大骠骑将军和那些精锐的王牌劲旅，从此都将被人瓜分，不再属于他李密。好在长安那边的态度让李密颇感欣慰，唐高祖李渊听说李密败给了王世充要去投奔他，接连不断地派人前来迎接，礼仪非常隆重。李密高兴地对王伯当等人道：“像我这样的重量级人物，一旦加入唐国，无异于昔日窦融归汉，李渊他怎么敢不重用我，至少也得封我为宰相！”

抱着这样的想法，李密心中的阴霾一扫而空，公元618年十月，他心情愉快地率部抵达了长安。一开始，情况和他预想的基本一样，唐高祖隆重地接见了他，给他分封了许多官职、爵位，还把自己的外甥女嫁给李密为妻，平时与李密相见，常以兄弟相称，而不用君臣之间的那一套繁琐礼仪；但李密高兴了没多久，却发现他所得到的那些爵位，都是些“名誉爵位”，诸如上柱国、邢国公，听起来很风光，然而，既没兵权，也没有封地；好不容易有个正儿八经的官职，却也不是宰相，而是光禄卿。这个官职说白了，就相当于皇帝的管家，唐高祖打算出宫巡行了，由李密负责准备出行所用的仪仗，唐高祖打算举办宫廷宴会了，由李密负责准备宴会所需的膳食。李密自认为是韩信、窦融一样的人物，哪受得了这等窝囊气，于是私下里多次流露出不满，想用各种方式让唐高祖明白—我李密是来当宰相，替您管理天下的，不是来当管家的，替您掌管伙食的，这个官实在太小了。哪知道唐国的其他官员嫉妒李密初来乍到，就轻而易举地当了个三品官（光禄卿的级别是从三品），还获得了许多他们终生无法获得的爵位（虽然爵位只是荣誉称号，但普通官员想获得难度还很大），也正一肚子怒火呢，他们听说李密竟嫌光禄卿的官职太小，一心想到宰相，纷纷斥责李密不要脸。李密还没顾得上反驳，又听他们说了这样一番话。

“阁下先随杨玄感，后随翟让，这二人皆不得善终。此来关中，又想祸害我大唐么？”

李密这下才终于明白，他之前的想法是多么幼稚。唐国的军事有李世民等人管着，唐高祖岂会放着亲儿子不用，用他一个外人？唐国的政事有裴寂等人管着，唐高祖岂会放着这些和他一起创业、出生入死的老朋友不用，用他一个犯有“弑主”前科的新人？对，他李密的本事的确很大，整个唐国上下可以和他媲美的人少之又少，可是他既然再一次选择了寄人篱下，就要明白，这个国家已经不是由他说了算了，他最好能够学会夹起尾巴低调做人，越是锋芒毕露，只会让他愈发陷入被动。

事实上，唐高祖当初语气卑微地承认李密为“反隋义军盟主”，将他夸得天花乱坠，自称胸无大志，只希望将来能讨一块封地养老，本身就是一招隔岸观火之计—李渊从始至终，一心想自己当主角，丝毫没有让出权力的意思。

要怪，也只能怪李密太自信了，并不是每个人都是翟让。至少，他李渊绝对不是。

想通了这些之后，李密不禁心中一凛：既然李渊根本没有打算重用我，那为何当初还要隆重地派人欢迎我入关，造成会重用我的假象呢？若非如此，我也不会如此坚决的来到这里，即使来了，我也不会初来乍到就争取这个，争取那个，得罪了一大批人。

当他在思考这个问题时，唐高祖李渊已派出堂弟李神通，前往黎阳招抚徐世勣，与李神通一道前往黎阳的还有一人，名叫魏征，是李密此来长安随行的官员之一。—李密到长安后，由于他得到的待遇远远低于预期，他的属下出于对自身前途的考虑，也很快分成了两派，一派是王伯当这样的人，他们对李密忠贞不二，别说李密只是个从三品，即使他沦为庶民也会无怨无悔的效忠他；还有一派，是魏征这样的人，他们认为跟着李密已经没前途了，所以主动与之划清界限，时刻争取立功的机会。唐高祖派李神通、魏征前往黎阳告知徐世勣道：“魏公李密尚且归降了大唐，你作为他的部将，还在犹豫什么？”