各地农民起义军转战南北，沉重打击了隋朝统治者，牵制着隋军的主力。为了镇压农民军，隋军主力集中在东都洛阳和江都一带，隋炀帝本人也坐镇江都。关中地区成为隋朝军事力量比较薄弱的地区，李渊正是利用了这一时机，乘虚入关，建立了李氏王朝。
其次，隋炀帝的腐朽统治，使他众叛亲离，统治集团内部出现了裂缝，隋朝统治力量削弱。李渊乘隋炀帝自顾不暇之际，发展力量，进占了长安。早在隋炀帝发动第二次侵略高句丽的战争时，大贵族杨玄感受命在黎阳仓督运军粮。他见隋朝统治大势已去，便于大业九年（613）六月公开起兵反隋，达官子弟，趋之若鹜，纷纷奔附。可见，在隋统治集团中反隋的念头已普遍存在。杨玄感起兵后，一些隋军将领故意弃甲于地，有意送给杨军，沿途穷苦民众，也踊跃参军，不足两个月，杨玄感便聚众十余万人。但由于杨玄感目光短浅，凡庸无谋，战略方针失策，最后兵败自杀。
杨玄感反隋虽然失败，但隋朝官僚贵族反隋的事情却一再发生。主要有：罗艺，据涿郡及附近诸郡，自称幽州总管，成为威震燕地的大势力；梁师都，据朔方（今内蒙杭锦旗北），国号梁，突厥封其为“解事天子”；刘武周，据马邑（今山西朔县），称皇帝，突厥封其为“定杨可汗”；薛举，据金城（今甘肃兰州），称西秦霸王；李轨，据武城，称大凉皇帝；萧铣，据巴陵（今湖南岳阳），称梁帝；沈法兴，据吴兴，称梁王。他们起兵割据，称帝称王，都不同程度地削弱了隋朝的统治力量。
隋炀帝无法收拾时局，逃到江都。大业十四年（618），右屯卫将军宇文化及发动兵变，隋炀帝易服逃跑，为叛军擒捉。炀帝还厚颜无耻地问，我犯了什么罪？叛官们说，你轻动干戈，游玩不息，穷奢极欲，荒淫无度，拒听忠言，专任奸邪，使青年男子死在战场，妇女老弱填入沟壑，万民失业，变乱四起，还说什么无罪。炀帝又说，你们跟着我享尽了荣华富贵，我没有对不起你们的地方，今日之事，为首者是谁。叛官们说，全国同怨，何止一人，结果，隋炀帝被叛军缢杀。
另外，李渊注意策略，缩小敌对面，利用人民的反隋思想，扩大自己的势力。李渊所以起兵晋阳，其目的是取隋而代之。胸藏谋略的李渊却不像杨玄感那样公开打出“反隋”的旗号，而是在“尊隋”的名义下逐步夺取隋政权。大业十三年（617）六月，李渊立隋代王杨侑为帝，遥尊炀帝为太上皇，实际上是控制了关中的局势，杨侑不过是李渊手中的工具。一方面，李渊避免了大臣犯上谋反的恶名；另一方面，李渊可以以安定隋室的旗号公开招兵买马，扩大势力。由于李渊的社会关系和政治地位，起兵后迅速得到了地主阶级的支持。李渊也做出一副“卑身下士”的样子，广罗人才，于是，三秦士庶，衣冠子弟，郡县长吏，纷纷归附。对于这些人，李渊封官许愿，以廉价的许诺，换取了他们对自己的支持。
李渊对农民起义本是深恶痛绝的，但斗争的形势迫使他从镇压农民起义改为竭力利用农民军的力量。李渊进军长安时，瓦岗军首领李密曾写信给李渊，约以共同灭隋。李渊一反常态，卑辞答谢，并假意推李密为主。李渊这样做，无非是想利用李密的势力阻挡住东都洛阳的隋军，以便顺利西进。事实正如李渊所料，瓦岗军在李密的谋划下，夺取了隋朝的兴洛仓和回洛仓，兵逼洛阳，牵制着隋军的主力，使其不能顾暇长安，李渊才得以顺利西进。当李渊进军到黄河东岸时，隋将屈突通断绝津梁，给进军带来一定困难。李渊及时派人和关中的起义军取得联系，并拜当地起义军首领孙华为左光禄大夫，封武乡县公，加冯翊郡守。在关中起义军的协助下，李渊才得以在极短的时间内渡过黄河，控制了渭水流域。
李渊为了解除后顾之忧，还与突厥通好，卑辞言和。这些都充分表现了李渊具有丰富的政治经验。正因为如此，李渊在群雄并起的局势下，能立于不败之地，最后取隋而代之，建立了自己的政权。
李渊善于用人，手下有一批文官武将，他们在创立唐朝大业中也起了重要作用。李渊太原起兵以前，就广纳豪杰，收罗了大批人才。大业九年（613），李渊镇守弘化郡，广树恩德，众多款附。他在太原的地位巩固以后，又令次子李世民密诏豪杰，倾财赈施，礼贤下士。长子李建成也在河东潜结英俊。诸如刘文静、殷开山、刘正会、温大雅、唐俭、权弘寿、武士彟、王长阶、姜宝谊、杨毛、长孙顺德、窦琮、刘弘基等一大批志士仁人被团结在李渊的周围。晋阳起兵后，进军关中，沿途又交结各路豪杰；行军途中，与士卒同甘共苦，各级将士乐为其效力。攻入长安后，为了加强将士对自己的支持，又大封功臣，像裴寂被封为魏国公，刘文静被封为鲁国公。晋阳旧吏，个个希望李渊称帝，以便得到更高的官职。李渊的英明之处就在于他能使周围将士甘心为他卖命，这不能不说是李渊得以称帝建国的一个重要因素。
四、兼并群雄统一全国
李渊称帝长安时，群雄未靖，许多隋将割据称雄，多支农民军亦称霸一方，全国处在四分五裂状态。具有政治野心的李渊，不愿偏安关中一隅之地，便储粮积粟、厉兵秣马，一旦军实充足，即剿抚兼施，开始统一全国的战争。
李渊首先指向对关中构成威胁的薛举、薛仁杲父子。薛举是隋金城郡（治今甘肃兰州）的富豪，家产巨万，雄于边朔。大业十三年（617）四月，薛举驱逐隋官，自称西秦霸王，年号秦兴。不久称帝，定都天水（今属甘肃），封儿子仁杲为齐公，据陇西全境，众至十三万，成为西北地区的一股大势力。薛举起兵反隋，首先要夺取关中。李渊抢先攻占长安，薛举父子便以十万兵力进逼关中。李渊派李世民率军出击，薛军败归。
武德元年（618）五月，李渊长安称帝，薛举又率精骑攻扰，关中大乱。唐军则恃兵多将广，有轻敌之意，结果在高墌（今陕西长武北）之役中，败于薛军。消息传到长安，京师骚动，人心惶惶。薛举得胜后，则趾高气扬，欲乘胜直取长安。就在这时，薛举病死，其子薛仁杲继位。李渊命秦王李世民为元帅，再次率军讨伐，在高墌城外大破薛仁杲军，薛仁杲被迫投降。陇西并入唐境。
与此同时，凉王李轨自称天子，年号安乐，由安修仁掌握枢密，据有张掖、敦煌等河西五郡之地。李渊密遣安修仁兄安兴贵入凉，当上了左右卫大将军。武德二年（619），安兴贵与弟安修仁擒李轨，倾覆了李轨的政权，凉亡，河西五郡并入唐境。
李渊的劲敌除薛举、李轨外，还有刘武周。刘武周原是马邑鹰扬府校尉。大业十三年（617），聚兵万余人，自称太守，依附突厥，攻占楼烦（今山西静乐）、雁门、定襄（内蒙古清河县境）等郡，受封为“定杨可汗”，不久自称皇帝，年号天兴。武德二年（619），勾结突厥，南侵并州（治今晋阳）。唐并州总管、齐王李元吉抵挡不住，太原危急。接着，刘武周攻陷平遥、介州，李渊派右仆射裴寂督军抗击，被刘军打败，几乎全军覆没。刘武周乘胜进逼太原，李元吉弃太原逃归长安，关中震骇。李渊准备放弃黄河以东的地区，退保关中。在这紧要关头，李世民主张，绝不能放弃，并自请率军讨伐刘武周。李渊命李世民率兵自龙门（今陕西韩城县境）渡河，进击刘武周。唐军渡河后，坚壁不战，待敌军粮草不给，气势衰落，一鼓作气，速战速决，刘武周全军溃败，部将尉迟敬德投降。刘武周势穷，率残部北遁突厥，后被突厥杀死。并州归入唐的版图。
薛举、李轨、刘武周被消灭后，关中形势得以稳定。李渊便集中力量争取中原。
李渊争夺中原的劲敌是王世充。王世充本是隋江都通守，隋炀帝被杀后，他在东都立杨侗为帝，不久，击败瓦岗军，瓦岗军首领李密投降唐朝，其余将帅多归附王世充。武德二年（619），王世充废掉杨侗，自称皇帝，年号开明，国号郑，占据洛阳，成为河南最大的割据势力。武德三年（620）七月，李渊派李世民率军直驱河南，攻打洛阳。王世充所属河南州县，相继降唐，王世充困坐洛阳，遣使向窦建德求援。窦建德欲与王世充合力败唐，然后再寻机消灭王世充，因而接受了王世充的请求，引兵十万进军成皋（今河南荥阳县氾水镇）。李世民率唐军抢占武劳重镇，阻击窦建德。窦建德布长阵二十里，鼓噪前逼唐阵。唐军坚守不战，以逸待劳。窦建德军粮草供应不畅、士卒饥疲，唐军乘机出击，窦建德抵挡不住，败退三十里，最后受伤被俘。王世充见大势已去，率群臣两千余人降唐，河北诸县也相继归唐，李渊的势力基本上控制了黄河流域。
与此同时，李渊还派李靖至夔州（今四川奉节），进攻占据长江中游地区的萧铣。萧铣于武德元年（618）在巴陵称帝，不久迁都江陵，出兵攻夺唐巴、蜀地，拥兵四十万。武德四年（621），唐将李靖、李孝恭围江陵，萧铣外无援兵，只好投降唐朝，长江中下游地区亦为唐所有。
李渊兼并了割地称雄的一些隋朝贵族后，又把矛头指向在灭亡隋朝中起了重要作用的农民军。窦建德被俘后为李渊所杀害，其部将于武德四年（621）推刘黑闼为主，在漳南（今山东德州一带）起兵反唐。刘黑闼勇决善战，各地的窦建德残部又闻风而起，不到半年时间，刘黑闼就完全恢复了窦建德故地。
李渊命李世民、李元吉率军东征刘黑闼。刘黑闼率步骑两万人迎战，从午间杀到黄昏，未分胜负。唐军在洛水上游筑坝截水，看到难以取胜，就决水灌敌，刘黑闼兵败，逃奔突厥。两个月后，刘黑闼又卷土重来，重新恢复故地。武德五年（622），在洺州（今河北永年）自称汉东王。齐王李元吉前往讨伐，为刘黑闼打败。李渊又派皇太子李建成亲征，李建成采纳魏徵的建议，实行安抚政策，争取民心，以瓦解刘黑闼的部队。武德六年（623），刘黑闼兵败被杀。唐控制了河北、山东地区。
占据江淮地区的杜伏威于大业十三年占据历阳（今安徽和县），自称总管，任用“士人”。武德元年（618），移居丹阳，上表隋越王杨侗，被任为东南道大总管，封楚王。唐军围攻洛阳，使人招降杜伏威，杜伏威降唐，被封为吴王，任江淮以南安抚大使。刘黑闼兵败被杀后，杜伏威使部将辅公祏留守丹阳，自请入朝，被留在长安。武德六年（623）秋，辅公祏率领江淮义军在丹阳反唐，自称宋帝，唐借故杀杜伏威。李渊又派大将军李孝恭、李靖、李世等分路进攻，武德七年（624），辅公祏率军自丹阳出走，被地主武装捕获，送唐营处斩，江南、淮南从此也成为唐朝的辖区。
李渊在统一全国过程中，最后消灭的是梁师都。梁师都于隋大业十三年（617）在朔方起兵反隋，攻占雕阴、弘化、延安等郡，自称皇帝，国号梁，年号永隆，依附突厥贵族，受封为“解事天子”，唐贞观二年（628）为唐军消灭。至此，李渊父子兼并了地主割据势力，又打败了农民军，统一了全国。
五、创立制度修明政治
李渊称帝，百废待举，他一面组织力量进行统一全国的战争，一面注意加强政权建设。唐朝前期的政治、经济、军事制度，在李渊时期基本上粗具规模。
第一，建立各级政府组织机构。李渊建唐伊始，一切政权组织都因袭隋制，直到武德七年（624）才为适应全国统一后的历史形势，根据前代制度，确定了唐代的政权组织系统。在中央实行三省六部制。三省即中书省、门下省、尚书省。中书省的长官是中书令，僚属有中书侍郎、中书舍人等，是决策机关，负责草拟有关军国大事的诏敕。门下省长官是侍中，僚属有黄门侍郎、给事中等，是审议机关，主管审核中书省的决定，并有权驳回。尚书省的长官是尚书令（太宗时废尚书令，另设左右仆射），僚属有左右丞、左右司郎中等，是执行机关，负责执行中书、门下二省的决定。三省的长官都是宰相，他们共同商讨国家大事，共同对皇帝负责。六部即吏、户、礼、兵、刑、工。吏部主掌官吏的考核与升降，户部主掌户籍及赋税，礼部主掌礼仪及科举，兵部主掌军事，刑部主掌刑法诉讼，工部主掌土木工程。各部长官都称尚书，直属于尚书省，每部又领四司，计二十四司，分别执行中书、门下二省制定的政令。监察机关为御史台，长官是御史大夫，负责纠察百官。
地方统治机构基本上是州县两级制，州设刺史，县设县令。刺史每年一巡属县，考课官吏，访询治安，催督赋役，保举人才。县令主一县之事，县以下有乡，乡以下有里，里是最基层的政权单位，置里正一人，辖百户左右，其职责是检查户口、劝课农桑，检查违法，催驱赋役。
中央和地方各级政权机构的建立，在中国历史上有着承前启后的重大意义。各级政权组织严谨，分工明确，政府机构的运转和职能得到充分发挥。
第二，实行均田制和租庸调制。唐初，经隋末战乱，人口减少，武德初年仅有二百余万户，不及隋朝最多时户数的四分之一。由于缺乏劳动力，大量土地荒芜，在这种地广人稀的情况下，唐政府要保证赋税收入，稳定政权，就必须把流亡的人口固定在土地上，迅速恢复和发展生产。为此，唐朝采用了北魏、隋朝的均田制和租庸调制，稍加修订，颁布全国。