随着杨广实力的上升，他开始觊觑太子之位。不久，宇文述替杨广买通了太子身边幸臣姬威，窥伺太子动静。然后密嘱杨广进宫行苦肉计。
杨广回任扬州之前，依计去辞别皇后，哭诉道："东宫太子说我觊觑大位，欲加屠害。不知日后还能不能见娘的面了。"
太后独孤氏道："你们是亲兄弟，不致如此。"
杨广道："姬威可以为证。"
太后传来姬威，审问之下果有其事，怒道："我尚在，他欺凌你至此；倘我死后，他焉能让你俯首讨生活。"
太后对杨勇广纳姬妾、宠幸弄臣早有不满，道："此儿不可教也！"她安慰杨广道："你先不必回扬州，过几个月再说，我自有主意。你在京期间不得轻过东宫。"
自此，太后在隋文帝杨坚面前只说晋王好，太子歹，劝行废立。
杨素知道圣上惧内，一心帮杨广，以图永久富贵，也在杨坚面前搬弄是非。到了后来，受过杨广金银珠宝的廷臣官宦都来冷言热语，乘隙进谗，诋毁杨勇。
隋文帝终于下决心废去太子杨勇之位，立杨广为太子。
杨广为了夺取皇位装出一副仁孝的模样，一旦大权在手，就原形毕露了。隋文帝病危时，太子杨广调戏宣华夫人，事泄，杨坚准备废杨广，召杨勇，然而，杨广抢先下手，害死杨坚。之后，他收宣华夫人为妃。
杨广登基后，只知淫乐巡游。大业八年，隋炀帝杨广命江淮一带每年挑选貌美的童女入宫。
隋朝的长安和东都洛阳，已有很多苑囿宫殿。隋炀帝又在洛阳增修显仁宫和西苑。
隋炀帝继位的第一年八月，就乘船去游江都，第二年四月回到洛阳。大业三年北游榆林，他到突厥启民可汗帐游玩。大业四年，他来到五原，到塞外游玩。大业五年，他到达张掖，到西域游玩。大业六年，他游江都。大业七年到十年，隋炀帝三次入侵高丽。
大业十一年，隋炀帝去北长城游玩，被突厥始毕可汗围困在雁门关。大业十二的，隋炀帝游江都。
直到灭亡，隋炀帝到处游玩，在京城治国的时间不够一年。
隋炀帝即位时，隋朝国库充足，兵强马壮，经过隋炀帝多年的折腾，国库空虚，走向衰亡。