李渊立长子李建成为太子。在后来的四方征战中，次子李世民功劳最大，并形成了自己强大的势力。李建成害怕李世民对自己构成威胁，便联合了四弟李元吉与李世民争夺王位，暗中勾心斗角。
武德九年（626年）六月四日，李建成、李元吉借出征突厥之机共谋取秦王府兵。李世民向李渊告发了李建成和李元吉的阴谋，李渊决定次日询问二人。李建成获知阴谋败露，决定先入皇宫，逼李渊表态。在玄武门（宫城北门）执掌禁卫军总领的常何本是太子李建成的亲信，却被李世民所拉拢。六月四日（庚申），李世民亲自带一百多人埋伏在玄武门内。李建成和李元吉一同入朝，待走到临湖殿，发觉不对头，急忙调转马头往回跑。李世民带领伏兵从后面喊杀而来。李元吉情急之下向李世民连射三箭，无一射中。李世民一箭就射死李建成，尉迟恭也射死李元吉。史称“玄武门之变”。
“玄武门之变”后，李渊立李世民为太子，两个月后，李渊退位自称为太上皇，李世民即位，是为唐太宗，次年改元贞观。