隋炀帝登基以后，荒淫无道残暴至极，使得民不聊生，怨声载道。在忍无可忍的情况下，农民起义终于爆发了。
大业七年（611年），王薄首先在山东长白山（今章立、邹平、长山等县交界处）起义，活跃在齐郡（今济南）、济北郡（今茌平）一带。王薄自称“知世郎”，他作了一首《无向辽东浪死歌》号召起义。
隋炀帝调集大军进行镇压，更加激起了广大农民的愤怒。不久，各地起义军汇合成三支强大的队伍，一支是由窦建德领导的河北起义军，一支是由翟让领导的瓦岗军，一支是由杜伏威领导的江淮起义军。其中瓦岗军力量强大。
一天，瓦岗寨门口突然来了一个衣衫褴褛的人，要找瓦岗首领翟让，卫兵把他带到翟让那里。原来他就是远近闻名的李密。李密出身于贵族家庭，父亲是隋朝有名的武将，被封为蒲山公。李密本是杨素的儿子礼部尚书杨玄感手下的将官。因为杨玄感起兵反隋打败，隋朝官府到处追捕他，最后，他终于上了瓦岗寨。
李密是个很有才干的人，他又做过隋朝的官，政治斗争经验和指挥作战的本领比翟让这些人高明。他看到瓦岗军力量越来越大，可只是袭击来往官兵、抢劫运河上运货的船只，没有远大政治目标，便给起义军的将领们分析形势。接着，李密又去说服瓦岗军周围的小股农民起义军和瓦岗军组成联军，共同作战。这样，瓦岗军越来越壮大，成为一股强大的反隋力量。
大业十二年（616年），瓦岗军在翟让、李密的指挥下，打下金堤关（今河南省滑县南）。拿下荥阳附近的几个县城，直逼荥阳城下。
第二年春天，李密又率领七千精兵，攻下了隋朝设在东都洛阳附近最大的一个粮食仓库洛口仓（又叫兴洛仓），打开仓库，把粮食分给老百姓。人们奔走相告，感谢瓦岗军，纷纷送自己的子弟参加起义军。瓦岗军在很短的时间内就发展到几十万人。
翟让看到李密很有政治眼光，又屡建战功，就把瓦岗军的领导权让给了他。于是，李密称魏公、行军元帅，改年号为永平。李密封翟让为司徒（相当于丞相）。洛口仓扩建为洛口城，成为政权所在地。瓦岗军发布了讨伐隋炀帝的檄文，列举了隋炀帝十大罪状，指出：“罄南山之竹，书罪无穷；决东海之波，流恶难尽。”意思是说，隋炀帝的罪恶，把南山上的竹子都做成竹简，也书写不完；决开东海，用海水也洗刷不清，号召人民起来共同推翻隋王朝。
瓦岗军建立政权以后，南北起义军纷纷响应，前来归附，李密成了中原起义军的领袖。
在起义军的猛烈攻击下，隋朝的统治已经土崩瓦解，众叛亲离，许多地方官纷纷起兵反隋。右屯卫将军宇文化及，乘机发动了兵变。
大业十四年（618年）隋炀帝在江都被宇文化及绞死，隋朝名存实亡。