除了这些儿子，李渊一生还生下了十九个女儿，分别为：长沙公主（下嫁冯少师）、襄阳公主（下嫁窦诞）、平阳公主（下嫁柴绍）、高密公主（下嫁长孙孝政、又嫁段纶）、长广公主（下嫁赵慈景、又嫁杨师道）、万春公主（后封长沙公主、下嫁豆卢怀让）、永嘉公主（后封房陵公主、下嫁窦奉节、又嫁贺兰僧伽）、九江公主（下嫁执失思力）、庐陵公主（下嫁乔师望）、南昌公主（下嫁苏勖）、安平公主（下嫁杨思敬）、淮南公主（下嫁封道言）、真定公主（下嫁崔恭礼）、衡阳公主（下嫁阿史那社尔）、丹阳公主（下嫁薛万彻）、临海公主（下嫁裴律师）、馆陶公主（下嫁崔宣庆）、千金公主（后封安定公主、下嫁温挺、又嫁郑敬玄）、常乐公主（下嫁赵瑰）。根据房陵公主的墓志铭可知，她是咸亨四年（公元673年）去世的，终年55岁，逆推生于武德二年，假如万春公主也是在李渊登基之后生的，那么，在他称帝之后，除了一口气生下了十八个男孩之外，又乘胜生下了十四个女儿，在短短的三四年里，就收获了三十二个子女，可谓高产。
因此，史书上说李渊晚年多内宠，这倒是真的，这些得宠的嫔妃们竞相拉拢各位年长的儿子（即指李建成、李世民和李元吉三人），以求得自己和自己的儿子能在将来得以保全，而面对李世民咄咄逼人的压力，李建成和李元吉也曲意讨好李渊的诸多嫔妃们，送去大量财物，希望她们能在李渊面前说自己的好话。史书称，有人传言他们二人甚至与张婕妤和尹德妃私通，但又说，这是宫闱秘事，外人无法分辨。仔细分析这一说法，不难看出，这其实是李世民一党的造谣中伤，理由是：李渊晚年最宠爱的就是张婕妤和尹德妃二人，可是，二人却站在李建成的立场，得罪了李世民。平定洛阳之后，李渊命令诸位嫔妃赶往洛阳宫中，挑选洛阳宫中的美女，接管国库中的珍宝，这些嫔妃们私下向李世民索要财物，并替兄弟们要官，但李世民却没有答应。张婕妤与李世民的过节是：当时李渊下诏命令李世民主管的陕东道行台可以在辖区内自行其是，李世民将一片良田送给了淮安王李神通，张婕妤的父亲也看中了那块地，李渊亲自写下手诏把那块地赏赐给了张婕妤的父亲，可是，李神通却捷足先登，不肯从命。张婕妤遂在李渊面前说：“陛下下诏把地赏赐给我父亲，可是秦王却夺去送给了别人做人情！”李渊听后，勃然大怒，召来李世民，挽起衣袖，大声斥责道：“我的诏命效力还没有你的教令大吗？”数日后，李渊说着李世民的小名（不详）对裴寂说：“这孩子长期率军在外，独断专行惯了，被书生们教坏了，不再是昔日我的孩儿了啊！”尹德妃与李世民的过节是：李世民的府属杜如晦骑马经过尹德妃父亲尹阿鼠的家门，尹阿鼠不满其傲慢，骂道：“你是什么人，胆敢经过我家门前却不下马！”于是，率领数名家童拦住杜如晦的马，把他拖下马来，痛打一顿，打断了杜如晦的一根指头。事后，尹阿鼠让尹德妃对李渊说：“秦王手下的人凶狠至极，竟然欺负我的父亲。”李渊再次发怒，斥责李世民道：“你身边的人竟然把我嫔妃一家欺负到这种程度，更何况平常百姓呢！”李世民反复解释，但李渊根本不听。
有了这种过节，李世民审定的旧史自然不会说张婕妤和尹德妃的好话，唯独说李建成、李元吉与二人私通，更显得这谣言编得拙劣，尤其恶劣的是，还故意说有传言如此，是宫闱秘事，说不清楚，故意弄得虚虚实实，不惜给其老父、兄弟、庶母身上泼脏水，实在恶毒。
有了这些矛盾，就算是意识到刘黑闼的威胁，李渊岂能放心再派李世民东下？如果没有刘黑闼，李世民就是一个脱离军队的天策上将，可以在闲暇时间读读书，提高提高自己的文化素质，这是李渊给李世民指的一条出路，然而，恰恰是刘黑闼的出现，给了李世民又一个机会，尤其是等到河北道行台尚书左仆射李神通在饶阳大败之后，河北地方军队已经无力抵挡住刘黑闼的攻势了，而这时，好在是李孝恭也顺利地平定了萧铣，这才促使李渊再派李世民、李元吉东下。
武德四年行将过去，回顾这一年，有三件大事：上半年，李世民消灭窦建德、王世充，下半年则是李孝恭消灭萧铣以及刘黑闼的起兵，除了这三件事情外，整个帝国还发生了其他不大不小的事情：
突厥方面：与唐朝之间的关系彻底破裂，滞留唐朝使者郑元璹、汉阳公李瓌（李孝常弟弟）以及左骁卫大将军长孙顺德三人，李渊也扣留了突厥使者。五月二十二日，在李世民拿下洛阳不仅，代州总管李大恩也击破了突厥卵翼下的苑君璋，同月，镇守泾州的长平王李叔良（李渊堂弟）却在与突厥军队的交战中阵亡。八月，在刘黑闼举事后，突厥人于十八日再度进攻代州，总管李大恩派行军总管王孝基抵御，结果，唐军全军覆没。十九日，突厥军队包围了崞（guo）县（今山西省原平市），二十日，王孝基从突厥人那里逃回。李大恩兵力寡少，只能固守州城（今山西省代县），一个多月后，突厥人这才离去。九月，突厥人卷土重来，再次进攻并州，李渊派遣左屯卫大将军窦琮等人北上迎击，四日，另一方向的突厥人也向原州（今宁夏自治区固原市）杀来，李渊派行军总管尉迟敬德等人迎战。三十日，灵州（今宁夏自治区灵武县）总管杨师道（杨恭仁的弟弟）也击破了突厥人。
东北方向：三月二日，李渊以靺鞨酋长突地稽为燕州（今辽宁省锦州市）总管。但到了六月十四日，营州（今辽宁省朝阳市）人石世则却逮捕了总管晋文衍，发动叛乱，拥立突地稽为主。饶阳之战后，李艺回到了幽州，但幽州（今北京市）却遭遇了前所未有的饥荒。高开道答应送给李艺一些粮食，赈济幽州的军民，李艺先把一些年老体弱的人送到了高开道那里（高开道原来的根据地在渔阳【隋唐渔阳在今天津市蓟县】，降唐后，被任命为蔚州【今河北省蔚县】总管，但也有可能是遥领），高开道都一一妥善安置。李艺听后非常高兴，就又派了三千人，带上数百辆大车、一千多匹驴马，前去拉粮食，可是，等这些人来到高开道那里后，高开道却突然翻脸，把他们全都扣留了下来，与李艺绝交，又自称燕王，北连突厥，南结刘黑闼，率军进攻易州（今河北省易县），没有攻克，大肆劫掠一番而去；又派部将谢稜向李艺诈降，李艺出兵接应，行至怀戎（今河北省涿鹿县西南），反受到谢稜的偷袭，被击败。自此以后，高开道与突厥军队联合，经常骚扰河北一带，恒州、定州、幽州、易州都深受其害。此年七月，高句丽新国王高建武（高元的弟弟）派人向唐朝进贡。
东南方向：杜伏威派部将王雄诞进攻李子通，李子通部署精兵驻守独松岭（今浙江省安吉县东南）。王雄诞派偏将陈当率领一千多人登上高地，扼守险要，逐渐逼近李子通的军队，安插了很多旗帜，夜里则把火炬绑在树上，布满山野。李子通担心众寡不敌，烧毁军营，退守杭州。王雄诞乘胜追击，又在杭州城下将其击败。十一月七日，李子通无计可施，只好投降。杜伏威将李子通及其仆射乐伯通一起送到长安，也许是妄杀窦建德、王世充的教训，让李渊感到懊悔，这一次，他竟然下令释放了李子通。
消灭李子通后，王雄诞又转兵进攻盘踞黟（yi）县、歙（she）县十余年的变民头领汪华（已于同年九月降唐，被封为歙州总管）。汪华率军在新安洞口（今安徽省歙县北）迎战，王雄诞将精兵埋伏在山谷之中，出动数千老弱之兵与汪华军战斗。双方刚一交手，王雄诞的军队就假装战败，逃回大营，汪华乘胜直逼敌营，但却无法攻入营中。行将日暮，汪华下令撤军，可等到他率军回到洞口驻地时，王雄诞的伏兵却已经端掉了自己的老巢，汪华只好投降。另外一位变民头领闻人遂安盘踞在昆山（今江苏省昆山市），杜伏威命王雄诞前去讨伐。王雄诞因昆山险峻，易守难攻，遂单人匹马来到城下，说服闻人遂安投降。自此，杜伏威完全占领了淮南、江东之地，东到大海，南到仙霞岭，都是他的地盘。王雄诞也因功被任命为歙州总管，赐爵宜春郡公。
其他方向：一是山东、淮北一带。刘黑闼起事后，王薄说服了青州、莱州、密州投降了唐朝；文登（今山东省文登市）变民头领淳于难也投降了唐朝，被任命为登州刺史。海州变民头领臧君相也献出五个州降唐，被拜为海州（今江苏省东海县）总管。二是江西一带。弋阳（今江西省弋阳县）变民头领卢祖尚投降，九月被任命为光州（即弋阳）总管。卢祖尚在隋朝末年纠集本乡壮丁，组成军队，保卫本乡，后向皇泰主称臣，当时他才十九岁。三是岭南方向。消灭萧铣后，李孝恭任命李靖为岭南抚慰大使，检校桂州总管，招抚岭南。李靖来到岭南后，分派使者前往各地，招抚了九十六个州，得到百姓六十余万户。