杨坚由专权而称帝，独孤氏家庭的地位和影响起了一定的作用。然而，杨坚对独孤氏一直存在畏惧的心理。杨坚称帝后，独孤氏直接参与政事。独孤氏实际成为皇帝的皇帝，故宫中把二人合称“二圣”。
独孤氏嫉妒心非常强，一般情况下不允许杨坚和其他女人接近。虽然当时在后宫也有嫔妃几十人，但杨坚根本不能与她们亲近。由于独孤氏喜欢次子杨广，杨坚最后也废除了长子杨勇继承皇位的资格。
杨勇是杨坚的长子，幼时颇得父母喜爱，故在杨坚做隋王时便被立为世子，后来确立为太子。开国之初，杨坚为提高儿子的地位，凡有军国大事，都要杨勇参与处理。随着年龄的增长，杨勇越来越迷恋女色，东宫嫔妃多被宠幸。独孤氏最讨厌和除妻子外的女人生孩子的男人，当然对杨勇的行为也不满意。杨勇的第一个儿子是与尚未选入东宫的云氏在外边生的，杨坚对此也大为不满，指责杨勇。但杨勇不服，依然我行我素，从此逐渐失宠。但杨勇既为皇太子，当然会有一批人为了将来的利益为他出谋划策，于是杨勇周围逐渐形成一派势力。当杨勇在父母面前失宠时，善于察言观色的杨广便开始策划取而代之，在他周围以当朝重臣杨素为首形成另一派势力。
公元598年冬至日，朝廷百官都到东宫朝见杨勇，杨勇大张旗鼓地接受朝贺，这实际上是对杨坚的示威。杨坚不能容忍，专门为此下诏，严禁以后再有此类事情发生。杨坚废除杨勇的决心此时已经正式形成。其后，父子互相猜疑。为防备杨勇，杨坚把东宫强壮的警卫全部挑走，并将警卫经常轮换，侍卫以上的官吏全由皇宫卫队统一指挥，不受东宫调遣。杨勇本来就没有雄才大略，依附者在皇帝的再三警告下也不敢妄动，杨勇便也束手无策。公元600年，杨坚正式废杨勇，并杀掉和罢免杨勇的一大批臣僚，彻底消灭了太子党。
杨广是杨坚的次子，善于讨好父母。成为隋朝的第二代君王。
公元604年正月，杨坚要到仁寿宫游玩，把朝廷的日常工作全部交给了杨广。4月，杨坚染病；7月，病重，召杨广等入宫侍候。不久，杨坚病死，享年64岁。庙号“高祖”，谥号“文皇帝”。
点评
杨坚成功地统一了历经数百年严重分裂后的中国，从此中国在大多数的世纪里都保持着他所建立的政治统一。杨坚开了中国科举制度的先河，于开皇七年587年命各州“岁贡三人”，应考“秀才”。他在位期间，史称“开皇之治”。
杨坚是个节俭的皇帝，甚至可说是节俭得过份，在大旱时仍不肯开仓，虽然身为皇帝，但衣著十分朴素。
长子杨勇为人奢侈，受杨坚厌恶；次子杨广在杨坚面前装得很朴素，背后比杨勇更奢侈，但深得杨坚喜爱，后来废杨勇立杨广为太子，是他的一大败笔。