武川军事贵族寿州刺史宇文述为杨广策划夺嫡大计时认为太子的废立"能移主上者，唯杨素耳"。晋王杨广为了夺得太子大位，谦卑屈尊与杨素结交。
宇文述奉杨广之命，带着大量金银珠宝到长安结交杨素之弟杨约，杨约是杨素唯一信任的人，杨素遇到事时，都要和杨约商量。宇文述常常宴请杨约，俩人或畅饮或下棋，宇文述总是有意将杨广所送的金银财宝输给杨约。
杨约在得到大量财宝以后，稍稍向宇文述表示了一下谢意，宇文述摇摇手说："这些并非我的财物，全部是晋王所赐！"
杨约听后吃惊地问："晋王这么做是为什么呢？"
宇文述向杨约转达了杨广的本意，并乘机游说杨约：臣属固然应恪守常规，但是明智的人会做些违反常规而符合道义的事。杨家兄弟功高震主，朝中百官受杨家兄弟欺凌的事难以计数。皇太子杨勇想做的事常常无法做到，因此对杨家兄弟更是切齿痛恨，想害杨家兄弟的人很多。如果当今皇上归天，杨家兄弟也就失去了保护伞。现在，皇太子失去了帝后的宠爱，皇上也想罢黜太子杨勇。现在只要你家兄杨素恳请皇上立晋王杨广为太子，晋王杨广千岁将对此恩情永世不忘。
杨约马上将宇文述的话告诉了杨素。杨素听后，拍手叫好。
几天后，杨素命人弹劾左卫元曼阿谀结交太子杨勇。隋文帝早就奇怪，为什么自己在仁寿宫发生的事，事无巨细，太子杨勇都会知道。现在有人弹劾，让隋文帝想起了在仁寿宫时：杨勇派裴弘给元曼送信，信封上写着："勿令人见。"隋文帝断定左卫元曼时常泄漏内情，下令逮捕元曼。
杨素在清查杨勇的仓库时发现大量的"火石"和艾草，上报隋文帝。隋文帝盘问杨勇的部下姬威，姬威招供道：太子杨勇另有居心。太子曾经说："要是控制城门，就能将皇上他们活活饿死。 "
杨素又将杨勇织绣雕刻加工的衣服、器具、首饰、珍宝，陈列于大庭之上。
隋文帝下诏将杨勇及其儿女免除封号，废为庶人。
杨素在太子的废立上推波助澜，兴大狱，大肆清查，使隋朝这个刚刚建立的王朝大伤元气。
废太子杨勇被囚于东宫之中，交给新太子杨广管束。杨勇被囚，感到非常委屈，想申冤上诉，被杨广阻遏，杨勇无奈之下只好爬到树上大叫，希望有人听到后报告皇帝。但是杨素却对隋文帝说："杨勇已精神失常。"
隋文帝听信了杨素的话，不再理会杨勇。杨勇因此终生未能见到隋文帝。
杨勇被禁之后，文帝宣布立晋王杨广为皇太子。此时，太子杨广还无法顺利登上皇帝的宝座，一则杨坚尚在，二则朝延内外还有很强的反对势力。
蜀王杨秀是反对势力中最强的一支。杨秀是杨广的弟弟。杨秀不但容貌雄伟，而且非常有胆量和魄力，喜爱武艺。朝廷官员见到杨秀都惧怕三分。
隋文帝曾经对独孤皇后说："杨秀将来一定不会善终，我活着的时候，没有什么担心的，一旦他的兄弟们当政，他势必叛变。"
兵部侍郎元衡出使蜀地时，杨秀竭力巴结，杨秀与元衡的关系非常密切。大将军刘哙讨伐外族部落的时候，隋文帝命杨武通率军前进，杨秀却任命自己的亲信万智光作杨武通的行军司马。隋文帝对杨秀大加责备，并下令削减了杨秀所属的武装部队。对此，杨秀并没流露出不满的情绪。
太子被废，杨广成为太子后，杨秀非常不满。杨广唯恐杨秀叛变，就和杨素谗毁杨秀，杨广让杨素暗中搜集杨秀的罪状，杨素将杨秀在蜀地的所作所为向隋文帝密进谗言。本来隋文帝就对杨秀有疑心，听了杨素的密告，就下诏命杨秀返回长安。杨秀担心朝廷有变，声称有病，拒绝动身。杨素趁机密进谗言，声称杨秀要叛乱。隋文帝在杨素的鼓动下，命独孤楷乘快驿马车接杨秀。
杨秀到达长安以后，隋文帝见到杨秀一句话也没说，杨秀心里非常难受。不久，隋文帝公布了杨秀的十大罪状，杨秀被软禁。杨素再次帮杨广拔掉了通向皇位的绊脚石。
杨秀被禁锢之后，很多与杨秀关系密切的官员受到了打击。首先与杨素有私怨的治书侍御史柳或被贬。一次，杨素因小过惹怒隋文帝，隋文帝命治书侍御史柳或审理杨素。杨素到御史台就坐上了柳或的座位。
柳或神色庄重地对杨素说："我奉皇命审理你！"
杨素被迫走了下来，柳或坐在案桌前，命杨素站在庭堂之上，接受审问。从此，杨素对柳或恨之入骨。
杨素趁杨秀被定罪的机会，弹劾柳或"以内臣交通诸侯"，借机将柳或贬为平民，发配戍边。
大理卿梁毗执法公正，他见杨素专擅权柄，就向隋文帝上书一封。梁毗认为：臣子作威作福将会危害国家，现在左仆射杨素深得皇上恩宠，权势显赫，朝中官员都成了他的耳目。如果有人冒犯他，就会遭到打击，阿谀奉承他就能得到好处。朝中官员的荣辱，全在于杨素的评语。杨素不厚爱忠心报国之士，一心保荐亲戚。天下太平时，朝廷能够容忍杨素的私图，天下动荡时，杨素就会成为祸根。杨素执掌朝政，恐怕不会像殷商的伊尹那样。陛下应考察借鉴古今之事，使王朝大业永固。
隋文帝看到梁毗的奏章以后，下令逮捕梁毗，亲自盘问。
梁毗不为所动，抨击道："杨素仗着皇上的宠信，随意使用权力，军队所经之处，到处屠杀百姓。太子杨勇、蜀王杨秀被废，满朝文武均震恐颤悚，杨素却满脸喜悦。"
隋文帝听后，将梁毗从监狱里放出来。梁毗的奏章动摇了杨素的地位，隋文帝逐渐疏远杨素这个文武全才的心腹。
杨素行军打仗"战无不胜"，写文章"下笔立成，词义兼美"，在相位长达十七年之久，长期为隋文帝所倚重，终因隋文帝的猜忌，而削夺了实权。从此直到隋文帝病死，杨素不再过问尚书省的事。
晋王杨广立为太子后，隋文帝也逐渐人老体衰。仁寿末年，隋文帝到仁寿宫避暑时生了一场大病，而且病情不断加重，隋文帝躺在床上，向文武百官一一告别。
隋文帝患病期间，宣华夫人陈氏与太子杨广一起照料隋文帝。
一天，陈夫人更衣回来后，向隋文帝哭诉说："太子无礼！"
隋文帝愤怒之下命柳述、元岩传旨："召见废太子杨勇！"
杨素将此事秘密告诉了太子杨广。杨广下令将柳述、元岩等人关进大狱。
不久，隋文帝病死，杨广登基称帝。