第三路进展得比较顺利。那时并州起兵的消息还没传出。斐文安便派出几百名骑兵，蒙着妇女外出时遮体的幕，假称是汉王府的宫人回长安，混入蒲州城中，突然发难。蒲州刺史丘和不曾防备，只好弃城逃走，回长安告警。斐文安等占领蒲州后，准备带兵继续向蒲津进发，渡过黄河，进攻潼关。不料这时杨谅却又突然改变主意，下令以王聃为蒲州刺史，让纥单贵守住河桥，而把斐文安召回。
斐文安回到晋阳后，对杨谅十分不满，他说：
“兵贵神速，攻蒲津过黄河，为的是出其不意。本想大王亲自出征，一鼓作气，攻下长安。而今大王不去，却又把文安召回，失去时机，使彼方得以准备，大势去了！”
杨谅无话可讲。只好推说晋州（山西临汾）重要，是晋阳的屏障，派斐文安去做晋州刺吏。
北路征代州却不顺利。乔钟葵的前锋刘暠（ｈàｏ）来到代州城下，代州总管李景派兵出战，司马冯孝慈把刘暠斩于阵前。乔钟葵率三万大军继至。代州守军只有几千人，便不再出战，只据城固守。代州城年久失修，几处被并州军击破。但司马冯孝慈、司法吕玉都骁勇善战，及时把攻入的敌军打出。仪同三司陈乂又多谋划，善于防守之术，城池随崩随修。乔钟葵连攻了几天，还是不能攻下。
这时朝廷已有准备，隋炀帝派右仆射杨素做并州道行军总管、河北道安抚大使，率领大军讨伐杨谅。杨素是一员名将，曾在征陈的战役中立过大功。他分遣将领击败綦良和余公理的两路大军。又派大将军李子雄自幽州发兵，在井陉将刘建打败。
那时李景在代州已被围了一个多月。杨素派朔州刺史杨义臣去解围。杨义臣率军两万，夜出西陉关。乔钟葵闻报后严阵以待。杨义臣兵少，就征了数千头牛驴，匿藏在涧谷间。黄昏时分，两军交战。杨义臣突然驱出牛驴，一时漫山遍野都是奔跑的牲畜，尘埃遮天，蹄声震地。乔钟葵的士兵以为中了埋伏，四下奔溃，杨义臣率兵纵击，乔钟葵带着残兵狼狈逃去。代州之围便解了。
朝廷的主力由杨素亲自率领，进攻蒲州。他先率五千轻骑夜间偷偷渡过黄河。黎明时分大举攻城。纥单贵和王聃不曾防备，纥单贵战败逃走，王聃却投降了。
杨素率军继续前进。路经晋州、绛州、吕州，这三郡的刺史都是杨谅委派的，杨素不去攻打，只是每个州派去两千人，遥遥牵制，而自带大军继续朝晋阳进发。杨谅派大将军赵子开带十万人，在一个叫高壁的地方布阵，居高临下，连山上的小径也竖上栅栏，连绵五十里，阻挡杨素军。杨素把大军屯于山前，自己带领少数奇兵绕道霍山，去抄高壁的后路。霍山险峻，杨素军缘着悬崖峭壁，攀缘而行。等来到高壁北面，突然发起进攻，鸣鼓纵火，杀向赵子开军的连营。赵子开惊慌失措。这时山前的朝廷军也发起进攻，赵子开军自相践踏，死伤狼藉，全部溃散。
杨谅听到消息，亲自率领大军到蒿泽防守。蒿泽在晋阳以南，地势险要，易守难攻，只是地势低洼。偏赶上连日阴雨，杨谅便要退军。王劝他说：
“杨素悬军深入，士马疲敝，大王亲自率领锐卒攻击他，又是以逸待劳，定能得胜。如今望敌而退，灭了自己的威风，沮了战士的斗志，只是长敌人的志气，希望主上不要退兵。”
但杨谅不听，率军离开蒿泽险地，退守清源。清源在晋阳西南，无险可守。杨素大军来攻，杨谅军大败，萧摩诃被擒。王带着他的儿子将奔突厥，但逃到山中却又迷路，便对他儿子说：
“我的计谋不减于杨素，只是言不见从，才到了这一步。我不能坐着等人来擒获，以成竖子之名。我死了之后，你觅路逃出，千万不可去投靠亲故。”
王自杀之后，他儿子把他的尸体藏于石窟之中。但他儿子逃出后，去投奔他的一个朋友，终被朋友出卖，拿获斩首。
杨谅率败兵退保晋阳，杨素大军围城。杨谅无计可施，只好投降。
群臣给炀帝上疏，说汉王谋反，理当处死。炀帝就又拿出他的老办法，假惺惺地不许，只是把杨谅除名为民。这是他故作姿态，以表示他多么顾念手足之情。但背地里却把杨谅幽禁起来，断绝了他的饮食。杨谅在悲愤的折磨之下终于死去。而炀帝却摆脱了杀弟的名声。
杨谅所部的吏民受连累而死的，据史书记载，竟多达二十余万家。
六
几个兄弟都被除掉了，杨广放心地做他的皇帝，本性毕露，再也用不着装假骗人了。他的恶迹暴行因不属本文的记叙范围，此处略过不提，读者只记得他是一个蛮横暴虐、贪婪荒淫的暴君就行了。但物极必反，压迫越大，反抗也就越强。到他的末年，各地农民纷纷起义，反抗暴政。而一些大族豪强也趁机起兵，一时天下大乱。公元618年，炀帝在江都（即扬州）被他的骁果军（炀帝的亲兵）杀死，只做了十三年皇帝。同时被杀的有他的小儿子赵王杨杲和齐王杨，以及杨的两个儿子。
这些年，炀帝一直把蜀王杨秀带在身边，走到哪里带到哪里。难道是他关心这个仅存的弟弟吗？那才不是，他是不放心，怕有人抬出蜀王来反对自己，所以把他放在骁果营里，让骁果看住他。这次叛变，杨秀终于也死了，他有七个儿子，同时遇难。
炀帝的太子杨昭早逝。提起太子的死，也还是一个谜。杨昭是炀帝的长子，炀帝登基后，封为太子。大业二年，炀帝住在洛阳，太子留守长安。7月，太子从长安到洛阳朝拜父亲，炀帝让他侍宴，同席的还有司徒杨素。炀帝之所以能当上皇帝，杨素出力最多，所以才被封为“三公”之一的司徒。但炀帝却也忌他，想乘机将杨素毒死。他准备了一杯毒酒，让侍者送给杨素。怕杨素疑心，同时还有一杯好酒，送给太子。两杯酒放在一个盘子里，侍者送递的时候弄错了，把毒酒递给了太子。太子喝了之后，三天后而毒发，吐了两斗血。参与阴谋的宫人听说杨素什么事也没有，才知道把毒酒送错了，吓得谁也不敢吱声。太子知道了，叹息说：“没想到当了杨素的替死鬼，这也是命吧！”几天后便死了。
杨素知道皇帝忌他，正赶上生病，他不肯吃药，家人劝他，他说：
“我还需要多活吗？”他是跟太子同月死的，炀帝追赠他为太尉公（三公之首，朝臣中最高的级别），“葬送甚盛”。
炀帝南行的时候，留下他的孙子（太子杨昭的儿子）杨侗留守洛阳，另一个孙子杨侑留守长安，他俩还都是十二三岁的少年。炀帝被弑的消息传来，守卫洛阳的大将王世充便拥立杨侗为帝，称为皇泰主。一年之后，王世充自己当了皇帝，把杨侗杀了。至于杨侑，则早在李渊攻克长安的时候，就被李渊立为皇帝，还曾遥尊炀帝为太上皇。等到炀帝的死讯传来，李渊便也逼着杨侑禅位给他。隋朝终于灭亡了，杨家的王子王孙很少有得到好下场的，只有蔡王杨智积例外。
杨智积是文帝杨坚的弟弟杨整的儿子，是炀帝杨广的堂兄，被封为蔡王。杨智积性情修谨，自奉非常简朴，从没有人上门私谒。文帝很喜欢他。杨智积有五个儿子，他不让他们和别人来往，只让他们在家里，由自己教他们读《论语》。他这样做的原因就是看出宦途险恶，故而不许儿子做官。等到炀帝即位，他越发谨言慎行。大业十二年，他得病死了，临死的时候说：
“我今天才敢说，得以保全首领而死啦！”
炀帝死了十年之后，当时是唐太宗李世民当皇帝。太宗曾问魏征：
“朕看过《隋炀帝集》（唐人收集杨广写的诗文编集），文辞奥博，也知道赞颂尧、舜而谴责桀、纣，但他的行事为什么恰好相反呢？”
魏征回答说：
“人君虽是圣哲，但也应当虚己待人，这才能使智者献其谋，勇者竭其力。炀帝依仗着自己的才能，骄矜自用，口里说的是尧、舜的话，做的却是桀、纣的行为，却不知道这就是覆亡的原因。”
太宗点头说：
“不错，前事不远，乃是我辈之师啊！”