公元610年3月，隋炀帝杨广为了欣赏琼花，不听娇妻萧皇后的婉言相劝，执意二下扬州，大美女萧皇后这次没有跟随，十六院夫人这些大美女也多数没有来，外交部长杨玄感也跟着来了。在一次私人聚会中，张衡没有吸取上次得罪皇帝的教训，忘了祸从口出的道理，因为他与杨素都是晋王杨广当年的嫡系，杨素是他的老战友，张衡当然对杨素的儿子、自己子侄辈的杨玄感没有戒心，他对杨玄感说道：“薛道衡死的真是冤枉！”这本来是一句发自内心的话，当时很多人都在私下谈论；但是杨玄感却将其牢牢的记在了心里！　　见到皇帝后，杨玄感便将这句话原封不动的上报给了隋炀帝杨广。那还了得？杨广一听就怒了，这个张衡真的变心了，背叛自己了，这不是在骂朕错杀了薛道衡吗？

隋炀帝杨广正在痛恨张衡的时候，旁边一名普通的地方官员火上浇油：“张衡不断减少筑宫器具。”意思是：张衡不把皇帝的命令放在眼里，消极怠工，根本不想把江都宫建好！说这话的人正是大名鼎鼎的王世充，时任江都副市长。　　王世充，字行满，祖籍西域。他老爸本来姓“支”，后来才改姓为“王”。这其中还有一段非常离奇的传说：　　王世充的祖父死的早，留下了一个年轻漂亮的老婆和一个小儿子“支收”。这个年轻漂亮的小寡妇耐不住寂寞，跟一个王姓官员好上了，这个王姓官员比较负责，于是便娶了这个漂亮小寡妇！而那个西域人“支收”也就跟着自己的漂亮母亲拖油瓶来到了王家，从此之后便随了王姓，成为“王收”。　　西域人王收就是王世充的老爸！而王老兄也得到了他老爸的一些遗传，头发是卷的、声音有些奇怪像洋人的口音。

王世充同志从小就表现出了不凡的天赋，不仅喜好研究兵法计谋，而且还很痴迷易经算命这种高深的学术。长大后，又对国家法律产生了浓厚的兴趣，没多久便成了一名法律方面的专家！不过，王世充为人却相当低调，虽然拥有这么多的本事，却从来不曾对人说起。史书对王世充有一句非常形象的评价：“沉猜多诡诈。”就是说王世充为人低调、心眼很多、聪明精干、性格圆滑！　　后来，王世充参军，成为一名下级军官。与那些少年得志的官二代相比，王世充的人生道路走的就实在是不太顺利，十几年下来才混了个国防部副司长的官职！

为什么自己的官职升的如此之慢，肯定是有问题呀。经过一番认真的自我反思，王世充终于发现了症结所在：自己太老实了，太低调了！于是，他决定改变一下自己的性格，尤其是低调老实的性格。很快，大家就看到了一个崭新的副司长、一个善辩的副司长、一个善于搞人际关系的副司长！关于这一点，史书中也有具体的记载：王世充曾经和别人搞辩论，结果大获全胜，别人根本找不到理由来反驳他！

隋炀帝杨广登基后，王世充也当上了江都副市长的职位。虽然这个官职不是很高，但却非常重要，因为江都就在扬州一带，算是皇帝的老家，是很容易见到皇帝本人的！皇帝杨广第一次巡游扬州，王世充便表现的非常完美，鞍前马后、阿谀奉承，知道皇帝喜欢美女，王世充还从江南选了不少美女侍候皇帝，把个隋炀帝杨广伺候的非常舒服。因此，咱们的杨广对这个地方小官王世充相当满意，屡屡夸奖！　　这不，皇帝又一次来到扬州了。而王世充也跟上次一样，又是鞍前马后、阿谀奉承；又选了很多江南美女服侍皇帝，也正是因为如此的殷勤，才使他有机会听到杨玄感告张衡的那个小报告！　　在那一刻，王世充同志知道，属于自己的机遇来了！

王世充同志听完外交部长杨玄感的话后，立即动起了他那聪明的头脑：这难道不就是自己一直以来等待的机会吗？如果就此错过，岂不是太过可惜？经过一番短暂的思虑，他紧接着便向皇帝杨广说出了那句话：“张衡不断减少筑宫器具。”这，就是墙倒众人推；这，就是痛打落水狗！　　没错，只要把这个落水狗张衡整倒，自己就一定能获得某种好处，虽然他压根儿还不知道这种好处究竟什么！毫不夸张地说，这次出击基本上是稳赚不赔。首先，拉近了与外交部长杨玄感的关系，算是做了一回同一战壕中的战友；再者，拉近了与皇帝杨广的关系，无形中成为了皇帝的卧底与密探；最后，与杨玄感一起穷追猛打落水狗，打倒这个不识时务的张衡，帮皇帝杨广出了一口恶气！

果然，隋炀帝杨广听完杨玄感、王世充的汇报后勃然大怒：“把张衡这个老贼押往闹市斩首！”看来，杨广同志是真的怒了。眼看着张衡同志的脑袋就要不保，正在这时，很出人意料的一幕出现了：隋炀帝杨广突然改变了主意，将斩首改为了开除公职！奇怪，真是奇怪，这太不符合杨广同志的性格了，他做事向来都是干脆利落的，更何况是已经下达的命令，更何况没有任何人进行劝阻。唯一的解释只能是，隋炀帝杨广内心还惦念着当年作为晋王参谋长的张衡在过去的种种好处，还舍不得杀这个曾经生死与共的老部下！　　就这样，曾经不可一世的狗头军师张衡成为了平民百姓。如果张衡的人生到此结束，倒也不失为一种不错的结局；可惜的是，他的人生却并没有结束。

一年之后，张衡的一个漂亮的小老婆估计是受不了做老百姓的节衣缩食的苦日子，便来向皇帝告状：张衡对皇帝心怀怨恨，说伴君如伴虎，诽谤朝廷不公、小人当道。这一次，隋炀帝杨广认为这个张衡真是不可救药了，杨广同志没有再给这个忠心耿耿的老部下面子，公元611年11月，杨广下诏将张衡赐死在了家中。可叹张衡当年作为杨广的军师出谋划策害人的时候活得很滋润，一旦良心发现说了几句为国为民的真心话，反而走上了不归路。就好比一个烟瘾很重的人突然戒烟反而得了不治之症一样可悲。