尽管如此，听了李世民的话语，李渊还是想掩饰自己跃跃欲动的心思，他假装大吃一惊：“你怎么说这种话，我现在就把你抓起来向官府告发，把你送到地方监狱，让皇上治你的罪！”说着就取来纸笔，要写状表。李世民也不害怕，继续劝说父亲：“我观察天时人事，已经很清楚了，才敢说这样的话。如果一定要告发我，我也不怕死。大人请！”作出伏地受死的样子。李渊扔下笔说：“你要小心谨慎行事，这话不要随便乱说！”第二天，李世民又劝李渊：“如今盗贼日益增多，遍布天下，世人都传说李氏当应验图谶，致使李金才无罪却被灭族。大人剿贼不力，固然要被治罪；要是能将贼剿灭净尽，那么功高震主，不但无功，我们全家反倒更危险！只有应时而动，举兵反抗无道昏君，才是万全之策，不要再疑虑了。”李渊叹息说：“我整夜都在考虑你昨天说的话，你说得很是有理。那就听从你的意见，往后，就是家破人亡也由你，变家为国也由你！”父子的试探终于结束，原来大家都是一条心。
果然不出李世民所料，没过几天，隋炀帝以李渊和王仁恭不能抵御突厥的进犯为罪，派使者来，要将他们押往隋炀帝行宫所在的江都（今江苏扬州）问罪。李渊大为恐惧，李世民与裴寂又乘机鼓动李渊：“如今主上昏聩，国家动乱，为隋朝尽忠没有好处，本来是将佐们出战失利，却要治您的罪。事情已经迫在眉睫。晋阳军队兵强马壮，宫监积蓄的军资财物巨万，以此起兵，还怕不成功吗？关中豪杰蜂起造反，但都在茫茫然不知归属于谁，您要是大张旗鼓地向西进军，招抚他们，使他们归附，取关中就如探囊取物一样容易。为什么要受一个使者的监禁，坐等被杀戮呢？”李渊秘密布置准备，将要举事。忽然隋炀帝又来了命令，不再追究李渊的责任。李渊又犹豫了。刘文静急切地对裴寂说：“先发制人，后发制于人，您为何不早劝唐公起兵，却推迟拖延不已？等到天下平定，宫女的事必然暴露，那时候，您是难逃一死的，您死也就罢了，却因此误了唐公的大业！我们就不能做到谁也不必送死吗？”裴寂被揭了隐私，极为恐惧，急切催促李渊起兵。
于是，李渊指令刘文静假造隋炀帝的诏令：“征发太原、西河、雁门、马邑诸郡二十以上五十以下丁壮为兵，本年内到涿郡集结，讨伐高句丽。”当时，隋炀帝已经三征高句丽，隋军死伤惨重。因此“诏令”一出，群情激奋，人们宁可造反，也不愿到辽东送死。这是李渊打着隋炀帝的合法旗号，以万民痛恨的“伐辽东”鼓动人心，为自己起兵集结队伍造势。
大业十三年（617）二月，马邑人刘武周起兵，杀太守王仁恭，三月又联合突厥兵直逼太原。这时，李世民催促父亲快快起兵，说：“大人身为留守，而盗贼窃据离宫，如果不早定大计，灾祸不久就要到来了。”于是，李渊以讨伐刘武周为由，召集诸将佐会议，提议自行募兵。负有监视李渊行动使命的副留守王威和高君雅，迫于非常形势，只好同意；同时，也委婉地提醒李渊，募兵是为了对付刘武周，要跟隋王朝休戚与共，决不可另有图谋。李渊命令李世民与刘文静、长孙顺德、刘弘基等人各自募兵。远近的百姓投奔汇集，十天之内有近万人应募。这支队伍由李渊、李世民父子控制和直接指挥，成为晋阳起兵的主力军。
副留守王威和高君雅眼看募兵云集，整个太原都骚动起来，怀疑李渊有异志，便策划晋祠祈雨大会。晋祠位于太原西南五十里的悬瓮山下，王威、高君雅想把李渊诱骗到这里，加以杀害。这个阴谋恰好被经常出入于王、高家的晋阳乡长刘世龙了解，刘世龙立即将此事报告给李渊父子。李渊和李世民、刘文静决定先发制人，让李世民率兵埋伏在晋阳宫城的外面，相机而动。
五月十五日的早晨，李渊像往常一样，与王威、高君雅坐在一起处理政务，刘文静引着开阳府司马刘政会进来站在厅堂上，声称“有密状，告某人谋反”。李渊故意叫王威先看那份莫须有的密报，刘政会说：“告发的就是副留守王威、高君雅，只有唐公才能看。”李渊佯作吃惊：“难道有这样的事？”他看了状子，正色道：“王威、高君雅勾引突厥，策划入侵，图谋皇上！”高君雅捋起衣袖大骂：“杀了我，你们好造反是不是？姓李的叛贼，国家待你不薄！”李世民已经布置了军队，控制了局面。高君雅还想争辩，刘文静一声令下，埋伏在后面的长孙顺德、刘弘基等一跃而出，将王、高抓起来投进监狱。说来也巧，正当李渊宣布王、高勾结突厥谋反的时候，突厥数万骑兵果然入侵太原，李渊命令裴寂等人率兵防守，把各城门都打开，突厥人不知虚实，不敢进入，逡巡而去。由于如此巧合，大家都以为确实是王威、高君雅把突厥人招引来的，李渊便名正言顺地把他俩杀掉，然后传令各地，明令各地的军政首领一律听从唐公指挥。义旗高举，大唐的事业轰轰烈烈地开始了。
三、智取霍邑力克关中
晋阳的南面是西河郡（今山西汾阳），郡丞高德儒。当李渊传檄至该郡的时候，高德儒拒绝了。李渊命令李建成、李世民攻取西河郡。取西河，是李氏父子晋阳起兵后的第一战，胜败关系到李唐王朝的帝业，因而上下十分重视。临行前，李渊对太原令温大雅说：“我儿子年轻，请您参与谋划军事，事情成败，在此一举。”李建成、李世民带领的士兵都是新近招募的，没有经过训练，但是李建成、李世民与士兵同甘共苦，遇到敌人身先士卒。附近道旁的蔬菜瓜果，兵士有偷吃的，立即找物主给予赔偿，但也不责备偷窃者，士兵及百姓们对李氏兄弟都心悦诚服。唐军到达西河城下，高德儒闭城拒守，但很快就被攻破。抓住高德儒，李世民历数其罪过：“你弄来一只野鸟冒充凤凰来欺骗君主，诈言‘祥瑞’，骗取高官，我们兴义兵，正是要诛灭你这样的奸佞小人！”然后将高德儒处死，其余官员一律不杀，还分别抚慰吏民百姓，让他们各复其业。西河首捷，往返仅九天，李渊高兴地说：“像这样用兵，足以横行天下！”于是就订下了直取长安的计划。此役后，设置大将军府，分为三军。封李建成为陇西公、左领军大都督，指挥左三军。封李世民为敦煌公、右领军大都督，指挥右三军。任命裴寂为长史，刘文静为司马，唐俭和温大雅为记室，温大雅参与机密，长孙顺德和刘弘基等为统军。战时军政一体的组织机构初具规模。
大业十三年（617）七月，李渊誓师出征，留三子李元吉守太原，他亲自率领李建成、李世民共三万人马南下。隋朝虎牙郎将宋老生驻霍邑（今山西霍县），以精兵两万阻挡李渊的军队前进。正是北方雨季，大雨绵延不止，军粮供应不及，又有流言说突厥乘虚侵袭太原。李渊召集将领僚佐们商议向北返回。裴寂等人都说：“宋老生居守险要，不容易很快攻下。太原为一方的都会，而且义兵的家属都在太原，不如返回我们的根据地，待局势有利再筹划出征。”李渊倾向于同意这项提议。李世民反对说：“宋老生为人轻狂浮躁，一战就可以擒住他。现在的局势是，李密占领兴洛仓（在河南巩县东北）后舍不得粮仓粟米，顾不上向远方图谋。刘武周和突厥人表面上虽然相互依赖，但实际上却互相猜忌。我们本来是兴大义、奋不顾身地拯救百姓，应当先行进入长安，号令天下。现在只遇到了小敌，立刻就要回师，恐怕跟随起义的人一旦解体，返回去守卫太原一城之地，我们就沦落为贼寇了，天下人都会得而诛之，自身都不能保全，何谈建立大业！”李建成赞同李世民的意见，主张继续进兵，彻底击败宋老生。但李渊不听，催促军队撤出战斗，全军返回太原。李世民要进入李渊的营帐劝阻，李渊以夜深已经休息为由拒绝接见，李世民就在帐外号哭。哭声传到帐中，李渊无奈被迫召见李世民，问他为何哭闹。李世民说：“如今我们举兵是为大义，进军攻战就能取胜，后退就会溃散，到那时，部众溃散在前，敌军追击在后，我们被官军消灭的日子就在眼前啊，怎么能不悲伤？”李渊醒悟，忙说：“军队已经出发，我们怎么办呢？”李世民说：“右军整装，但是还没有出发，左军虽然出发，估计还没走远，请让我去追赶他们。”李渊鼓励他说：“随你调度安排！”李世民和李建成连夜把左军追了回来。过了几天，太原的粮食也运到了，刘武周终于也没有敢进攻太原，危机解除。
八月初雨停了，李渊决定展开对宋老生的攻势，命令部队晾晒铠甲、器械、行装。李渊率军从山脚下的小路向东南直抵霍邑。李建成、李世民说：“宋老生有勇无谋，我们用轻骑向他挑战，他不会不出战，待他从营垒出来，我们就四处宣言说他已经投降了我们，他害怕被左右的人奏报，只能与我军接战。”李渊和几百名骑兵先到霍邑城东面几里的地方等待步兵，李建成、李世民率领几十骑到城下，举鞭挥旗就像要布置军队包围城池的样子，并且辱骂宋老生。宋老生大怒，率三万人从东门、南门分道出战。李渊派殷开山召集后军，后军集结完成，李渊和李建成在城东列阵，李世民在城南列阵。李渊、李建成与宋老生交战，李世民与段志玄从南原率兵驰马而下，冲击宋老生的军阵，奔袭宋老生军的背后。李渊的兵势振奋起来，就齐声呼喊：“已经抓住宋老生了！”宋老生军心涣散，大败。李渊的兵士迅速直抵城门，城门关闭了。宋老生下马跳入壕沟，刘弘基将他杀死。隋军的死尸遍布原野。天黑了，李渊命令登城，当时没有攻城的器械，将士们奋勇作战，赤膊登城，一举攻下霍邑。
攻克霍邑后，又乘胜接连攻取临汾郡（今山西临汾）和绛郡（今山西绛县）。李渊军到达龙门（今山西龙门）。九月，包围河东。河东是战略要地，关中门户。隋朝骁骑大将军屈突通闭城拒守，攻之不克。这时唐军发生了军事策略上的第二次分歧。裴寂说：“屈突通拥有大批军队，凭借着坚固的城池，是我军的劲敌，当前应当全力进击屈突通。我们若舍弃他而去，要是进攻长安（今陕西西安）而不能攻克，后退就会遇到河东方面的追击，腹背受敌。先攻下河东，然后挥师西进。长安是依恃屈突通为后援的，屈突通被打败，长安必定不战而破。”李世民反对说：“兵贵神速，不要纠缠。我们乘着屡战屡胜的军威，安抚归顺的民众，大张旗鼓地西进，长安守军还来不及谋划决断，更不用说布防。我们取长安就如同秋风扫落叶。如果滞留于此坚城之下，河东不能迅速攻下，长安则有时间加强防御以对付我们，我们白白浪费了时间，军心涣散，前功尽弃。况且关中拥兵自重的将领分散在各地，必须尽早将他们招抚来。屈突通是作茧自缚，不足为虑。”李渊决定分兵两路，大军渡河入关，重点攻取长安，同时留相当兵力对付屈突通。这一部署很正确，在李世民等与薛举相持期间，李建成、刘文静等率军攻打潼关，最后潼关被攻克，屈突通投降，他在后来的统一战争中为唐朝廷立下了卓越的功勋。
李渊父子率主力部队渡河后，李建成、刘文静等屯守永丰仓和潼关，防备来自东面的敌兵；李世民率统军刘弘基、长孙顺德等数万人定渭北，包括泾阳、武功诸县。李世民军纪良好，他本人又素有名望，各县都是不战而下，主动归附。隰城尉房玄龄到军中拜谒李世民，二人一见倾心。李世民任命房玄龄为记室参军，以后他一直是李世民以及唐帝国初期的重要谋士。
刘弘基等南渡渭水，驻屯长安故城。李世民则引兵赴司竹园，收编了李仲文、何潘仁、向善志等所率徒众，驻扎在原秦阿房宫城，号称拥兵十三万。接着，李世民派人报告李渊，请即赴长安。李渊命李建成率精兵赴长乐宫，李世民率新附诸军北屯长安故城。十月，李渊到达长安，设营于春明门之西北。京城被二十万大军围困，到十一月，长安落入李渊军手中。李渊立隋代王杨侑为皇帝，即隋恭帝，改元为义宁元年。李渊为假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，进封唐王，以武德殿为丞相府，独揽军国机务。以李建成为世子，李世民为京兆尹、秦公，李元吉为齐公；以裴寂为丞相府长史，刘文静为司马。次年三月，李世民改封赵公。两个月后，隋恭帝被迫禅位，李渊即皇帝位于太极殿，国号唐，改元武德，定都长安。武德元年（618）六月，李世民为尚书令，裴寂为右仆射、知政事，刘文静为纳言。根据传统的嫡长子继承制，立李建成为皇太子，李世民为秦王，李元吉为齐王。由于秦王李世民参与“首义”，而且军功显赫，他在新王朝里占据重要的地位。