有一次隋炀帝打算扩建汾阳宫就让人做了一份图纸给张衡看，本以为以张衡的聪明才智，能给出一些真知灼见，没想到这小子一上来就胡说八道。说什么，这些年来，劳役太多，人民疲惫，请皇上留意！可他的话明显得罪了隋炀帝。
有一次，大臣们一起研究点什么，张衡告退的时候，杨广就用自己的大眼睛盯着他的后背说：“这小子居功自傲，他以为我去的天下全都是靠的他的功劳，什么玩意儿！”
于是身边的马屁精就扑了上来，纷纷指责张衡的不是，把陈年旧账全都翻出来了，比如杨广有一次巡视涿郡和前往祭祀北岳恒山的时候，地方官员前来觐见，衣服都很凌乱，不够整齐，张衡主管这件事儿，居然都没发现。行了，你别在我眼前晃悠了，就这一条罪，你去下面当个县长吧。
张衡也没说啥，抬腿就走。
过了一段时间，张衡负责监督修建楼烦城，杨广出京旅游正好碰见。杨广顿时就气坏了，他本来以为自己给了张衡一些压力，这老东西应该紧张的晚上睡不着觉，白天吃不下东西，或者干脆吓死，没想到，他居然还比以前更胖了，红光满面的，这不是存心气我吗？
不过杨广还是念着旧情，就气呼呼地说：“你红光满面的，别在这呆着了，还去当县令吧。”张衡还是一言不发，抬腿就走。大约张衡的确是个建筑工程师的材料，没他不行，不久之后，隋炀帝又让他去建造江都宫了。
到了江都您就老实点吧，他跑到杨玄感跟前说：“薛道衡死的真是冤枉！”
杨玄感也真是做得出来，二话不说就跑到杨广面前把张衡给告了。正赶上这时候，江都郡丞王世充，也打小报告，说张衡减少了不少铸造宫廷用的工具。
杨广忍无可忍，逮捕张衡，想要做掉他。可是后来要开刀问斩的时候，又后悔了，拖延了一段时间后来干脆把他贬为平民，回家养老了。王世充跟着就接替了张衡江都宫总管的职务，这可是个肥缺，能赚钱滴。
王世充这个人啊，怎么说呢，那才不是东西呢。后面隋唐演义他是个名人，在这里先交代一下他的来历。
王世充，本来不姓王，他是个地地道道的西域人，具体哪个国家的不知道，但肯定已经拿到大隋朝的绿卡了。因为他的娘亲改嫁给姓王的，所以他也就姓王了。王世充活脱脱的就是西域商人的材料，性情狡猾奸诈，口才流利，反应敏捷，读过很多网络小说，后来因为遭到封杀就去做官了，他喜好兵法，熟悉法律，杨广几次到江都，王世充都像太监一样在旁边伺候着。他跟宇文述一样，能够从杨广的动作表情上分析出此刻应该拍什么样的马屁，呈现什么珍贵的物品，所以杨广也把他纳入忠臣的行列。