即位以后的杨广，仗着国势强盛，筑长城、修运河、远征高丽，滥用民力。农民大批地死于兵役、劳役，田地荒芜，民不聊生，各地纷纷爆发农民起义，地方势力也趁机割据，天下大乱。
公元617年初，在儿子李世民和手下谋臣刘文静、裴寂的反复鼓动劝说下，驻守太原的李渊终于在太原起兵，发动了晋阳宫事变。
李渊的军队对百姓秋毫无犯，很得民心，附近的军民纷纷前来归附，李渊的力量迅速发展壮大，李渊制定了向西入关中的计划。
留守长安的代王杨侑，得知李渊来犯长安，便派虎牙郎将宋老生镇守霍邑。李渊的大军行至距霍邑50余里的雀鼠谷时，遇到了困难。雀鼠谷道路狭窄，本来就很难通行，加上连降十几天大雨，道路更加泥泞。军队的粮草马快要耗尽，李渊派一支老弱的士卒回太原运粮。数日过去了，运粮的部队迟迟没有回来，而恰恰在此时，又有传言说北方的刘武周部队和突厥人企图趁太原空虚之际，偷袭太原。
李渊有些惊慌，召集众人商量对策。裴寂等人都说：“宋老生守在霍邑的险要之地，不易攻下。太原是一方都会，义军的家属都在那里，我们不如先挽救根本，以后再图进攻。”李世民坚决不同意他们的看法，说：“现在禾菽遍布原野，何愁缺少粮食！宋老生轻率急躁，一战就可以擒获。刘武周和突厥人表面上互相依附，其实内心互相猜疑。我们举的是解救天下苍生的义旗，如果遇到一点小的困难就回撤，恐怕跟从起义的大众，一下子就会解散。我们回到太原空守一座城，又落下一个乱臣贼子的罪名，到时候各方借口来讨伐，我们如何保全自己？”
最后，李渊还是没有采纳李世民的建议，下令部队后撤了。李世民想再次劝谏的时候，天色已晚，李渊已经就寝了，李世民不能入帐，没办法，就冒雨在帐外放声大哭。李渊听到，召李世民进帐来问，李世民说：“我们现在是以正义之师名义出兵的，如果前进就能成功，后退的话必然离散。一旦我们离散在前，敌人追兵在后，军队必然溃败，那时候离灭亡也就不远了，叫我怎么能不悲伤呢？”李渊听完李世民的这一番话，终于觉悟了，随即下令，当夜追回了已经后撤的部队。
熬到八月，终于雨过天晴了，后方粮草也顺利运到，太原平安无事，并未遭到进攻。军队顺利地熬过了低谷。此后，一路凯歌高奏，攻破霍邑、占领临汾、西渡黄河、闯进潼关、最终攻入关中，占领了长安城。李世民充当先锋，一路过关斩将，为李渊大军扫平了前进的障碍。
公元619年，李渊在长安称帝，建国号为唐，长子李建成被封为皇太子，次子李世民被封为秦王，三子李元吉为齐王。