杨坚的沉默让所有人都看出了老人家的底线，于是姬威立即站出来说：“太子这个人品德的确有问题，实在是既骄傲又暴躁，他经常说，如果有人劝他，他就要杀人，只要杀一百个人，规劝的话就永远都没有了。前些日子皇上把太子宫官吏苏晓慈免职，太子挥动着手臂说：“大丈夫早晚有扬眉吐气的一天，这个仇我一辈子也不会忘！”他还说：“至尊总是讨厌我生了很多庶子，陈叔宝不是庶出，还不一样亡国了，真是老糊涂！”
这些话到底是不是杨勇说的还有待可查，即便是真的说了，相信这里也有水分，但是根本没有人给他申诉或者辩驳的机会，最终目的就是要来个欲加之罪何患无辞，硬把杨勇给拉下来。
杨坚哭了一会儿，下令逮捕杨勇几个年幼的孩子。杨素舞文弄墨，找了许多罪名，然后使得他证据确凿。完事儿之后，杨坚下令抄家。
抄家的时候，侍卫们在杨勇的仓库里找到上千根火柴，这东西在现代自然什么也不是，可是在那时候应该是一种奢侈品，当初杨勇看到了一颗老槐树，就觉得他在院子里碍事儿，想要砍了，但是侍卫们说，这东西可以做火柴，于是他就制造了上千只，准备赏赐给左右侍从，可是没想到被发现了。与此相关的就是医药局的艾草也少了很多。
姬威就说，太子这样做别有居心，皇上住在仁寿宫，太子养了一千匹战马，如果放火烧毁了城门，然后快马加鞭的派兵布阵，皇上就要饿死在宫里了。杨坚就让其为去问杨勇，杨勇差点把鼻子气歪了，大声说：“我听说你家有上万战马，我只有一千匹，能造反吗？”
实在抓不住有价值的证据，就做小文章，搞臭他。杨素把太子宫搜出来的贵重的东西全部拿出来战士，里面有很多价值连城的宝物，这就是说他奢侈无度，这就是杨勇的犯罪证据。杨勇根本不服，这就能证明我要造反嘛？
到了公元601年九月，杨坚已经下定决心要废掉杨勇，于是打算跟他在最后见一面，派出去的使者到了东宫，杨勇非常害怕地说：“难道是要杀我！”当时的伤心程度溢于言表，冤枉啊！
杨坚已经彻底地抛弃了父子之情，在接见杨勇的时候，全副武装，侍卫林立，文武百官和皇亲国戚全都来了，然后让人宣布诏书：废掉杨勇。
杨勇无法跟皇帝对抗，只能口头哭泣，说：“我以为我要死了，没想到还能保住一条命，多谢陛下了。”
杨勇的子孙全都被赶出京城，他的长子写信给杨坚要求留下，杨坚动了真情，就想要答应下来，但是杨素又在旁边使坏，说“事情闹到了这样的地步，皇上一定要挥刀永断，千万不要再感情用事了。”
杨素在杨坚的一生当中，由于会做人，从来都得到杨坚无限的信任，他这么一说，杨勇连最后的一次机会都没有了。诏书回复，不同意！
杨勇被软禁之后，以前辅佐他的那些太子宫的官员大多被迫自杀，有几个没死的，也全都被没收财产，贬为平民。杨勇的势力基本上被剪除干净。