杨素刚才说那话其实就是为了把独孤皇后底牌给打探出来，现在独孤皇后已经说明白了，他也就无所顾忌，开始拼命地诋毁杨勇，说他没有才干，品德很差，害怕将来是个亡国之君。
两人这就算是一拍即合了。独孤皇后也明白杨素的意思了，于是拿出很多的金银赏赐给杨素，让他赶快去说服杨坚该换太子。
娘亲和权臣联手，内外夹攻，祸起萧墙，已经不可避免了。杨勇是所有废太子之中最可怜的一个，因为他是被自己的亲娘给陷害的。
虽说杨勇没有什么心眼，手下也没有杨广那么人才济济，但还是有一批忠臣的，他也得到了消息，说是皇上要废了他，所以心里忧虑。就在宫中只制作了很多的能辟邪的东西，希望能带来好运气。他觉得自己有一天可能会当平民，所以就在公立建了个平民村，房屋箭楼，经常在里面穿着布衣吃饭睡觉，先体验一下生活吧。
杨坚得到了这个消息，还以为他改邪归正了呢，于是就派人去看看。可是他派去的这个人不对，他派杨素去的，杨素能有什么好心眼，他想了个坏主意，到了东宫之后，就在外边慢慢坐下来休息，不肯进去，杨勇衣冠整齐态度恭敬地在里面等着，左等不来，右等不来，一下子就中了计，被激怒了。杨素等的就是这个，他赶紧进去见杨勇，结果被杨勇语言上海扁了一顿，回去之后，他就向杨坚报告：“太子对皇上恨之入骨，言语和脸色都能看出来，咱们应该提前做点准备了。”
杨坚半信半疑！
这个时候，独孤皇后出手了，他派到东宫的那些细作发挥了作用，他们源源不断地把东宫一些鸡毛蒜皮的小事儿，包装之后，报告给杨坚，例如杨勇今天说皇上坏话了，指桑骂槐了，吃饭的时候愁眉苦脸，打情骂俏不是很积极，似乎满腹心事，还有就是今天水谁又来串门子，密谋了很长时间。
反正杨勇的罪状直线上升。
杨坚真的开始怀疑杨勇要造反了，所以在玄武门道东北门，派出特工，侦查杨勇的动静，随后把杨勇宫内年轻的侍卫全都调走，杨勇预感到自己要完蛋了，心情非常的坏，但是不敢说话。
这时候，满朝文武都看出苗头来了，很多人在选边站队，更有一些想要趁机当官的跳了出来，其中有一个天文台的台长，跟杨坚直说：“我夜观天象，皇太子应该罢黜。”已经挑明了说了。而杨坚并没有责怪，而是说：“看来天意如此，早就注定了，只不过大家现在还不管说罢了。
既然不敢说，那就要找一些胆儿大的出来，重赏之下必有勇夫，杨广的手下段达，贿赂了东宫的官员姬威，让他侦查太子宫的一举一动，然后对他说：“太子的那些猫腻，其实皇上早就知道了，只不过没人说，如果你抢先告发，肯定会大富大贵。”姬威满口答应，立即找人写了无数条举报信交给了有关部门，全都是关于太子谋反的。