武德二年，密归朝廷，其地东属海，南至江，西直汝，北抵魏郡，勣统之，未有所属。谓长史郭孝恪曰：“人众土宇，皆魏公有也。吾若献之，是利主之败为己功，吾所羞也。”乃录郡县户口以启密，请自上之。使至，高祖讶无表，使者以意闻。帝喜曰：“纯臣也。”诏授黎州总管，封莱国公。赐姓，附宗正属籍，徙封曹，给田五十顷，甲第一区。封盖济阴王，固辞，改舒国公。诏勣总河南、山东兵以拒王世充。及密以谋反诛，帝遣使示密反状。勣请收葬，诏从之。勣为密服囗绖，葬讫乃释。
俄为窦建德所陷，质其父，使复守黎阳。三年，自拔来归。从秦王伐东都，战有功。东略地至虎牢，降郑州司兵沈悦。平建德，俘世充，乃振旅还，秦王为上将，勣为下将，皆服金甲，乘戎辂，告捷于庙。盖亦自洺州与裴矩入朝，诏复其官。
又从破刘黑闼、徐圆朗，累迁左监门大将军。圆朗复反，诏勣为河南大总管，讨平之。赵郡王孝恭讨辅公祏也，遣勣以步卒一万度淮，拔寿阳，攻江西贼壁，冯惠亮、陈正通相次溃，公祏平。
太宗即位，拜并州都督，赐实封九百户。贞观三年，为通漠道行军总管，出云中，与突厥战，走之。引兵与李靖合。因曰：“颉利若度碛，保于九姓，果不可得，我若约赍薄之，不战缚虏矣。”靖大喜，以与己合，于是意决。靖率众夜发，勣勒兵从之。颉利欲走碛，勣前屯碛口，不得度，由是酋长率部落五万降于勣。诏拜光禄大夫，行并州大都督府长史。父丧解，夺哀还官，徙封英，治并州十六年，以威肃闻。帝尝曰：“炀帝不择人守边，劳中国筑长城以备虏。今我用勣守并，突厥不敢南，贤长城远矣！”召为兵部尚书，未至，会薛延陀子大度设以八万骑侵李思摩。诏勣为朔方道行军总管，将轻骑六千，击度设青山，斩名王一，俘口五万。以功封一子为县公。
晋王为皇太子，授詹事，兼左卫率，俄同中书门下三品。帝曰：“吾儿方位东宫，公旧长史，以宫事相委，勿以资屈为嫌也。”后帝自将征高丽，以勣为辽东道行军大总管。破盖牟、辽东、白崖等城，从战驻跸山，功多，封一子为郡公。延陀部落乱，诏将二百骑发突厥兵讨之，大战乌德韐山，破之，降其首领梯真达干，而可汁咄摩支遁入荒谷，碛北遂定。改太常卿，仍同中书门下三品，复为詹事。
勣既忠力，帝谓可托大事。尝暴疾，医曰：“用须灰可治。”帝乃自翦须以和药。及愈，入谢，顿首流血。帝曰：“吾为社稷计，何谢为！”后留宴，顾曰：“朕思属幼孤，无易公者。公昔不遗李密，岂负朕哉？”勣感涕，因啮指流血。俄大醉，帝亲解衣覆之。帝疾，谓太子曰：“尔于勣无恩，今以事出之，我死，宜即授以仆射，彼必致死力矣！”乃授叠州都督。
高宗立，召授检校洛州刺史、洛阳宫留守，进开府仪同三司、同中书门下，参掌机密，遂为尚书左仆射。永徽元年，求解仆射，听之，仍以开府仪同三司知政事。四年，册进司空。始太宗时，勣已画象凌烟阁，至是，帝复命图其形，自序之。又诏得乘小马出入东、西台，卑官日一人迎送。
帝欲立武昭仪为皇后，畏大臣异议，未决。李义府、许敬宗又请废王皇后。帝召勣与长孙无忌、于志宁、褚遂良计之，勣称疾不至。帝曰：“皇后无子。罪莫大于绝嗣，将废之。”遂良等持不可，志宁顾望不对。帝后密访勣，曰：“将立昭仪，而顾命之臣皆以为不可，今止矣！”答曰：“此陛下家事，无须问外人。”帝意遂定，而王后废。诏勣、志宁奉册立武氏。帝东封泰山，为封禅大使。尝坠马伤足，帝以所乘马赐之。
高丽莫离支男生为其弟所逐，遣子乞师。诏勣为辽东道行军大总管，率兵二万讨之。破其国，执高藏、男建等，裂其地州县之。诏勣献俘昭陵，明先帝意，具军容告于庙。进位太子太师，增食千一百户。
总章二年，卒，年八十六。帝曰：“勣奉上忠，事亲孝，历三朝未尝有过，性廉慎，不立产业。今亡，当无赢赀。有司其厚趓恤之。”因泣下。举哀光顺门，七日不视朝。赠太尉、扬州大都督，谥贞武。给秘器，陪葬昭陵。起冢象阴、铁、乌德韐山，以旌功烈。葬日，帝与皇太子幸未央古城，哭送，百官送古城西北。
初，勣拔黎阳仓，就食者众，高季辅、杜正伦往客焉，及平虎牢，获戴胄，咸引见卧内，推礼之，后皆为名臣，世以勣知人。平洛阳，得单雄信，故人也。表其材武，且言：“若贷死，必有以报，请纳官爵以赎。”不许。乃号恸，割股肉啗之曰：“生死永诀，此肉同归于土！”为收养其子焉。性友爱，其姊病，尝自为粥而燎其须。姊戒止。答曰：“姊多疾，而勣且老，虽欲数进粥，尚几何？”
其用兵多筹算，料敌应变，皆契事机。闻人善，抵掌嗟叹。及战胜，必推功于下。得金帛，尽散之士卒，无私贮。然持法严，故人为之用。临事选将，必訾相其奇厖福艾者遣之。或问故，答曰：“薄命之人，不足与成功名。”既没，士皆为流涕。
自属疾，帝及皇太子赐药即服，家欲呼医巫，不许。诸子固以药进，辄曰：“我山东田夫耳，位三公，年逾八十，非命乎！生死系天，宁就医求活耶？”弟弼，始为晋州刺史。以勣疾，召为司卫卿，使省视。忽语曰：“我似少愈，可置酒相乐。”于是奏乐宴饮，列子孙于下。将罢，谓弼曰：“我即死，欲有言，恐悲哭不得尽，故一诀耳！我见房玄龄、杜如晦、高季辅皆辛苦立门户，亦望诒后，悉为不肖子败之。我子孙今以付汝，汝可慎察，有不厉言行、交非类者，急榜杀以闻，毋令后人笑吾，犹吾笑房、杜也。我死，布装露车载柩，敛以常服，加朝服其中，傥死有知，庶著此奉见先帝。明器惟作五六寓马，下帐施幔，为皂顶白纱裙，中列十偶人，它不得以从。众妾愿留养子者听，余出之。葬已，徙居我堂，善视小弱。苟违我言，同戮尸矣！”乃不复语。弼等遵焉。勣本二名，至高宗时，避太宗偏讳，故但名勣。后配享高宗庙廷。
季弟感，年十五，有奇操。李密败，陷于世充。世充令作书召勣，对曰：“兄尚节义，今巳事主，昆弟不能移也。”固不从，杀之。勣子震嗣，终桂州刺史。震子敬业、敬猷。
敬业，少从勣征伐，有勇名。历太仆少卿，袭英国公，为眉州刺史。嗣圣元年，坐赃，贬柳州司马。会给事中唐之奇贬括苍令，詹事府司直杜求仁贬黝令，长安主簿骆宾王贬临海丞，敬猷自眛厔令坐事免，俱客扬州，失职怏怏。
时武后既废中宗，又立睿宗，实亦囚之。诸武擅命，唐子孙诛戮，天下愤之。敬业等乘人怨，谋起兵，先谕其党监察御史薛璋，求使江都。及至，令雍人韦超告州长史陈敬之反，璋乃收系之。敬业即矫制杀敬之，自称州司马，且言奉密诏募兵，讨高州叛酋。即开府库，令参军李宗臣释系囚、役工数百人，授甲，斩录事参军孙处行以徇。乃开三府，一曰匡复府，二曰英公府，三曰扬州大都督府。自称匡复府上将，领扬州大都督，以子奇为左长史，求仁右长史，宗臣左司马，璋右司马，江都令韦知止为英公府长史，宾王为艺文令，前眛厔尉魏思温为军师。旬日，兵十余万。传檄州县，疏武氏过恶，复庐陵王天子位。又索状类太子贤者奉之，诡众曰：“贤实不死。”楚州司马李崇福率所部三县应之。
武后遣左玉钤卫大将军李孝逸兵三十万往击之，削其祖父官爵，毁冢藏，除属籍，赦扬、楚民胁从者。购得敬业首，授官三品，赏帛五千；得之奇等首，官五品，帛三千。
敬业问计于思温，对曰：“公既以太后幽絷天子，宜身自将兵直趋洛阳。山东、韩、魏知公勤王，附者必众，天下指日定矣！”璋曰：“不然。金陵负江，其地足以为固。且王气尚在，宜先并常、润为霸基，然后鼓行而北。”思温曰：“郑、汴、徐、亳士皆豪杰，不愿武后居上，蒸麦为饭，以待我师。奈何欲守金陵，投死地乎？”敬业不从。使敬猷屯淮阴，韦超屯都梁山，自引兵击润州，下之。署宗臣为刺史。始回兵屯高邮，下阿溪。思温叹曰：“兵忌分，今敬业不知扫地度淮，率山东士先袭东都，吾知无能为也！”
武后又使黑齿常之将江南兵为孝逸援，进击，淮阴、都梁兵皆败。后军总管苏孝祥率奇兵五千夜度击敬业，孝祥死，兵溺者过半，孝逸军退守石梁。有鸟群噪敬业营上，监军御史魏真宰曰：“贼其败乎！风顺荻乾，火攻之利也。”固请战，遂度溪击之。敬业置阵久，士疲，皆顾望不正列，孝逸乘风纵火逼其军，军稍却。敬业麾精兵居前，弱者在后，阵乱不能制，乃败，斩七千余级。敬业与敬猷、之奇、求仁、宾王轻骑遁江都，悉焚其图籍，携妻子奔润州，潜蒜山下，将入海逃高丽，抵海陵，阻风遗山江中，其将王那相斩之，凡二十五首，传东都，皆夷其家。中宗反正，诏还勣官封属籍，葺完茔冢焉。
初，敬业之叔思文为润州刺史。敬业兵起，以使间道闻，固守逾月。城陷，敬业责曰：“庐陵王继天下，无罪见废，今兵以义动，何过拒邪？若太后是助，宜即姓武。”思温等欲杀之，敬业不许。及扬、楚平，乃独免。后遂赐武姓，历春官尚书。或言本与敬业谋者，乃复徐氏，卒。子钦宪，开元中，仕至国子祭酒。
赞曰：“唐兴，其名将曰英、卫，皆擢罪亡之余，遂能依乘风云，勒功帝籍。盖君臣之际，固有以感之，独推期运，非也。若靖阖门称疾，畏远权逼，功大而主不疑，虽古哲人，何以尚兹？勣之节，见于黎阳，故太宗勤勤于托孤，诚有为也。至以老臣辅少主，会房帷易夺，天子畏大臣，依违不专，委诚取决，惟议是听。勣乃私己畏祸，从而导之，武氏奋而唐之宗属几歼焉。及其孙，因民不忍，举兵覆宗，至掘冢而暴其骨。呜呼，不几一言而丧邦乎？惜其不通学术，昧夫临大节不可夺之谊，反与许、李同科，可不戒哉！世言靖精风角、鸟占、云祲、孤虚之术，为善用兵。是不然，特以临机果，料敌明，根于忠智而已。俗人傅著怪诡秙祥，皆不足信。故列靖所设施如此。