虽然四处狼烟，但这些都是些疥癣之疾，到了八月，在柴绍的打击下，吐谷浑表示归降，九月，窦伏明也献出沙州投降了唐朝。
与突厥之间的和谈进展得非常顺利，一切逐渐开始向好，然而，就在李渊刚想松一口气的时候，富庶的江南却发生了意想不到的变故——八月九日，淮南道行台仆射辅公祏也发动了叛乱！
辅公祏原本与杜伏威是挚友，辅公祏年长，杜伏威把他看作是自己的兄长一般，军中也称其为伯父，像敬重杜伏威一样敬重他。时间长了，杜伏威逐渐开始猜忌辅公祏来，任命养子阚稜为左将军，王雄诞为右将军，借此夺去了辅公祏的兵权。辅公祏也看出了杜伏威的心思，一直郁郁寡欢，与老友左游仙佯装学习仙道，不问世事，以韬光养晦。等到去年七月杜伏威入朝时，留下辅公祏镇守丹阳（今江苏省南京市），命王雄诞担任辅公祏的副将，并暗中告诫王雄诞说：“我去长安以后，假如不被夺去实权，就不要让辅公祏发动叛乱。”杜伏威离开后，左游仙就开始劝说辅公祏速速谋反，但由于王雄诞手握强兵，辅公祏无机可乘，所以一直没有发动，于是，辅公祏就谎称接到了杜伏威的书信，声称怀疑王雄诞怀有二心，王雄诞听说后，不辨真假，竟然真的以为自己受到了杜伏威的怀疑，心里非常生气，遂称病不再办公。辅公祏趁机夺去王雄诞的兵权，命同党西门君仪来到王雄诞的家中，把谋反之计告诉给了王雄诞。到了这时，王雄诞才恍然大悟，非常后悔，说道：“如今，天下即将安定下来，吴王杜伏威又身在京师，大唐兵威，所向无敌，为何无缘无故干这种灭族的蠢事呢？王雄诞就是死，也不敢听命！如今，我听命于你，只不过多活一百多天罢了，大丈夫岂能爱惜当前的死而干出不义之事呢！”辅公祏知道无法说服他，遂将其勒死。王雄诞爱护士卒，深得将士们之心，他统领军队，纪律严明，秋毫无犯，听说他被杀的消息，江南军民无不掩面而泣。
辅公祏又谎称唐朝扣押了杜伏威，杜伏威在长安写信给自己，命自己起兵，于是，开始打造铠甲，囤积军粮，不久，又在丹阳称帝，国号宋，整修南陈的宫室之后，居住在那里，设置百官，任命左游仙为兵部尚书、东南道大使、越州（今浙江省绍兴市）总管，与三月份起兵的张善安（以豫章，今江西省南昌市为据点）联络，任命其为西南道大行台。
八月二十二日，李渊下诏命令襄州道行台仆射赵郡王李孝恭率领水军东下，直扑江州（今江西省九江市）；岭南道大使李靖率领交州（今越南河内市）、广州（今广东省广州市）、泉州（今福建省闽侯县）、桂州（今广西自治区桂林市）之兵向宣州（今安徽省宣城市）进发；怀州总管黄君汉从谯州、亳州南下；齐州总管李世勣沿淮河、泗水南下，四路大军一起讨伐辅公祏。
李孝恭将要出发时，宴请众将，命令部下取来水喝，可是杯子里的清水却突然化为血水，众人均大惊失色，以为是不祥之兆，但李孝恭却泰然自若，说道：“这是辅公祏断头的预兆啊！”说完一口喝下，众人这才心悦诚服。
九月十五日，辅公祏派遣部将徐绍宗进攻海州（今江苏省东海市），陈政通进攻寿阳（今安徽省寿县）。如果辅公祏的军队占领了淮河以北，势必扰动刚刚平定的兖州地区，威胁青齐，九月，在并州局势渐趋平静时，李渊下令以李世民为江州道行军元帅，准备将其调往南方指挥对辅公祏围剿行动。
黄州总管周法明率军东下讨伐辅公祏，但张善安驻扎在夏口（今湖北省武汉市），挡住了他的去路。周法明驻军荆口镇（今湖南省岳阳市北），十一月十日，他登上战舰喝酒，张善安派数名刺客乘坐小船而来，周法明毫无防备，被刺客杀死。十二日，舒州总管张镇周等人在猷州（今安徽省泾县）黄沙（在泾县东南）大破辅公祏部将陈当世所部。
十二月二日，安抚使李大亮率军来到洪州（今江西省南昌市），讨伐张善安。张善安与李大亮隔河搭话，李大亮向其说明祸福，张善安回答：“我其实本无谋反之心，只是被将士们误导，如今也想投降，但却害怕投降后还会被杀。”李大亮说：“张总管既然已想投降，那么你我就是一家人了！”说完，即拍马独自一人渡河，与张善安紧握双手，一起交谈，显示毫无隔阂，张善安大喜，当即表示愿意归降。不久，张善安也率领数十名骑兵来到李大亮的大营，李大亮把张善安的随从骑兵留在营外，只带张善安一人进入营内谈话，二人谈了很久，张善安告辞，这时，李大亮却突然翻脸，下令武士把张善安抓了起来，张善安的随从全都逃回了自己的大营。张善安的士兵们听说李大亮扣留了自己的主帅，个个义愤填膺，倾巢出动，将要进攻李大亮。李大亮命人对叛军们说道：“我没有强留总管，是总管真心实意要归顺朝廷，他亲口对我说：‘如果我回去以后，恐怕将士们会有不同意见，自己会被他们控制。’是他故意不回去的，你们为何要迁怒于我呢！”叛军们听了，又大骂张善安：“张总管出卖我等，想向他人献媚！”遂四散而去。李大亮趁机追击，俘虏了很多人。李大亮把张善安送到长安，张善安自称没有与辅公祏联络，李渊赦免了他的罪过，但等到辅公祏被消灭后，唐军得到了张善安的书信，李渊这才下令把他杀了。
对比，李建成和李世民的表现，李建成在九月三日接到李渊的命令之后就撤军了，但李渊让李世民撤军却颇费了一番周折：李渊在最初并没有正式下诏命其从并州撤军，而是在九月十九日下诏任命李世民为江州道行军元帅，意欲将李世民调往江南平叛，此后，李渊又杀了刘世让，突厥则让出了马邑，双方恢复了和平，十月十七日，李渊这才正式下诏命令李世民撤回。同日，李渊也离开长安，前往华阴，对外宣称是去打猎，其实，李渊可能另有担心：当时，李渊与李世民之间已经出现了分歧，李渊任命李世民为江南道行军元帅之后，李世民应该立即丢下并州的军队，前往江南上任，但李世民并没有这样做，而是逗留在军中近一个月，借故迟迟不去。李渊不得不下诏明令李世民返回，可是，李世民却依然态度消极，李渊动身前往华阴，既有催促李世民之意，也有以防万一的意思，即便是在这种情况下，李世民一直到十一月十七日，走了整整一个月才回到了华阴，李渊在忠武顿接住了李世民。
也许，在这近两个月里，重新掌握了军队的李世民的内心翻江倒海，这时他就想蠢蠢欲动、发动政变么？也许……