隋炀帝义宁元年（公元617年），突厥进攻马邑郡，晋阳（今山西太原）留守李渊派部将高君雅与马邑太守王仁恭共同抵御，结果吃了败仗。李渊很恐惧，担心炀帝降罪。其子李世民劝李渊说：“如今主上无道，百姓穷困，晋阳城外都成了战场，您如果谨守小节，那样就会下有流寇盗贼，上有严刑峻法，您的危亡随时都会来临。不如顺应民心，兴起义兵，转祸为福，这是天赐良机！”李渊大吃一惊说：“你怎么说这种话，我现在就将你抓起来去报官！”于是拿起纸笔要写奏表。
李世民从容地说：“我观察天时人事已是如此，才敢说这样的话。如果一定要把我抓起来告发，我不怕一死！”李渊说：“我哪里忍心告发你，你要谨慎，不要胡言乱语！”
第二天，李世民又劝李渊说：“如今盗贼一天多似一天，遍布天下，父亲受诏讨贼，贼众哪里能消灭干净！总之，最后还是免不了获罪。而且世人都传言李氏当应验图谶，所以李金才没有任何罪过，却在一天之间被诛灭全族。父亲如果能将贼众完全剿灭，那么功劳特高无法赏赐，您自己会更加危险！只是昨天的话可以免除灾祸，这是万全之策，望父亲不要疑虑。”李渊叹息说：“我一夜都在思考你的话，确实很有道理。今天就是家破人亡也由你，把家变成国也由你了！”
正要起事时，恰好炀帝派使者前来赦免李渊和王仁恭，让他们官复原职，李渊起兵的计划也就暂时缓了下来。
隋炀帝在太原郡有一个离宫叫晋阳宫，晋阳宫的主管官员宫监裴寂和李渊交情很深。裴寂私下用晋阳宫的宫女侍奉李渊，李渊和裴寂一道饮酒，酒酣之时，裴寂从容地说：“二公子暗中训练兵马，要起兵举大事，只是因为我私自让宫女侍奉您，恐怕事情败露出来，一起获罪被诛杀，才定下这应急之计。大家已经同心，您意下如何？”李渊说：“我儿子确实有这个图谋，事已至此，还有什么办法？只有依从他了。”但当时李渊的儿子李建成、李元吉还在河东，所以李渊一再拖延，没有起兵。
等到刘武周占据了汾阳宫，李世民又劝李渊说：“父亲身为留守，而盗贼窃据离宫，如果不早定大计，灾祸今天就要到来了。”于是李渊召集将领僚佐，对他们说：“刘武周占据汾阳宫，我们却不能制止，论罪该当灭族，怎么办？”副留守王威等人都很害怕，再三拜谢请求定计。李渊说：“朝廷用兵，行止进退都要向上级禀报，受上级控制。如今贼人在数百里之内，江都在3000里之外，加上道路险要，还有别的盗贼盘踞，靠着据城以守和不知变通之兵，以抵抗狡诈与狂奔乱窜之盗贼，必然无法保全。我们现在是进退维谷，怎么办才好呢？”王威等人都说：“您又是宗亲又是贤士，同国家命运休戚相关，要是等着奏报，哪里赶得上时机；要是平灭盗贼，专权也是可以的。”李渊佯装不得已而听从的样子，说：“既然这样就应当先征集军队。”于是他命令李世民与刘文静、长孙顺德、刘弘基等人各自募兵。远近的百姓投奔汇集，10日之内有近万人应募。李渊秘密派人去河东召回李建成、李元吉。
这时，王威、高君雅看到军队越来越多，对李渊的意图发生怀疑，想利用晋祠祈雨的机会对他采取行动，晋阳乡长刘世龙知道情况后立即向李渊报告。
五月十四日夜，李渊让李世民在晋阳宫城的外面埋伏军队。十五日早晨，李渊和王威、高君雅一起处理政务，让刘文静带开阳府刘政会进来站在厅堂里，说有告密状纸。李渊以目示意王威等接过状纸，刘政会不给，说：“告发的就是副留守的事情，只有唐公能看。”李渊假装十分吃惊，说：“难道有这样的事！”看那状纸，乃是王威、高君雅暗地与突厥勾结。高君雅挽起袖子大骂道：“这是谋反的人想害死我啊！”当时李世民已经在大路上布满了军队，刘文静就和刘弘基、长孙顺德等人一起将王威、高君雅抓起来投进监狱。
十七日，突厥几万兵马侵犯晋阳，其轻骑从外城北门进入，从东门出去。李渊命令裴寂等人率兵防备，而把各城门都打开，突厥人不知虚实，不敢进入。大家都以为确实是王威、高君雅把突厥人引来的，于是李渊将二人处死，悬首示众，宣告起兵。李渊的部将王康达率领1000余人出战，全部战死，城中人心惶惶。李渊在夜里派军队悄悄出城，早晨则张旗鸣鼓从别的道路上开来，好像是援军来到了一样。突厥人始终疑惑，在城外逗留了2天，大肆抢掠而去。