隋炀帝登基不久，汉王杨谅造反，隋炀帝命杨素率五千精兵攻打蒲州。杨素在夜晚集结数百艘商用船只，悄悄渡过黄河，进攻杨谅的军队。蒲州的纥单贵战败逃走，王聃献城投降。
隋炀帝命杨素为并州道行军总管、兼河北道安抚大使，率大军继续讨伐杨谅。
杨谅起兵之初，拥有晋州、绛州、吕州。杨素向每城派两千人，象征性地进行包围，然后亲率大军进攻杨谅的基地并州。
杨谅派大将赵子开率军断绝并州四周所有通道，驻守在高壁岭上，赵子开布了五十里长的大阵。杨素一面命将领率军攻打，一面亲自率领奇兵暗中进入霍山。
杨素出谷以后，下令扎营，命军司挑选三百人留守，士兵们恐惧强悍的杨谅叛军，争着留守，相互推脱，使部队无法按时出发。
杨素当即下令将争着留守的士卒全部斩首。
杨素率军绕到叛军后面，攻打杨谅的大营。一时之间，杨谅所率叛军不知如何是好，自相践踏，死伤数万人。驻守介休的介州刺史梁修罗听到杨素率大军偷袭，弃城逃走。
赵子开兵败以后，杨谅亲率十万人在蒿泽抵抗。不料天降大雨，杨谅只好退守清源。杨素紧追不放，杨谅节节败退，最后退守并州。
杨素大败杨谅，活捉萧摩诃。杨谅束手无策，只好请求投降。至此，杨谅的叛军全被消灭。
杨谅投降以后，文武百官纷纷上奏，认为应诛杀罪大恶极的汉王杨谅，隋炀帝不同意，下命开除杨谅官籍，把杨谅从皇家户籍中除名，并将杨谅囚禁起来。
平息杨谅叛乱以后，隋炀帝对有功之臣大加赏赐。
杨素在此次平叛中立下了头功。隋炀帝命杨素之弟杨约带着亲笔诏书，慰劳杨素。
隋炀帝任命杨素为隋朝一直阙而不置的尚书令，杨素也因此成为了隋唐三百余年中荣登此位的三个名人（另两人分别是李世民和郭子仪）之-。
平息杨谅叛乱后，隋炀帝举行了隆重的庆功会，下令将准备赏给有功之臣的金银财宝、绸缎车马全部陈列在殿前。然后，隋炀帝召见杨素等平叛的有功之臣，按照等级，一一加以赏赐。
自杨谅反叛以后，隋炀帝急于培植自己的势力。隋炀帝从即位开始到大业五年，先后四次下诏拔擢新人，隋炀帝急于筛选官僚班子，清理不买他帐的开国元勋功臣。大业初年的政坛可谓风云变幻。
杨素不论是在宫廷斗争之中，还是在平定杨谅的叛乱中，都是一个举足轻重的人物。
炀帝于大业元年（605年）下令将杨素迁尚书令后不久，又拜他为太子太师，恢复他其余官衔。表面上炀帝对杨素的赏赐不可胜计，待遇特别隆重，尊崇备至，但实际上，炀帝并不信任这位不忠于父皇的权相。
隋炀帝坐稳皇位以后，功高震主的杨素成为了炀帝猜忌的对象，内情非常薄。
大业二年杨素得病，炀帝表面上常命名医为杨素诊洛，还不断赐给杨素上等药物，但私下秘密询问医生，担心杨素不死。
杨素知道自己名位至极，被炀帝所猜忌，此次即使不病死，早晚也会被炀帝处死。因此，杨素不肯服药，不肯休养，毫不惧怕地等死。
位高权重的杨素之死，令隋炀帝大大地松了一口气。隋炀帝极为风光地厚葬了杨素。
张让由于平息窦武有功而升为中常侍，是汉灵帝最信任的人。张让等宦官肆虐朝政，横行淫威，对汉朝的统治破坏极大。后来，张让等人杀死国舅何进作乱，被追得无路可逃，投河自尽。