淝水之战后，北方又陷入战乱之中，少数民族贵族乘机纷纷建立许多割据政权，并互相混战。东晋王朝则满足于偏安的局面，不思进取，逐渐衰落。
拓跋氏原来在山西建立过政权，后被前秦苻坚攻灭。淝水之战后，拓跋氏重建政权，国号魏，定都山西平城。此后几十年间，北魏先后灭掉了其他地方割据政权。439年，北魏统一了北方，北魏统治者为了缓和阶级矛盾、民族矛盾及胡汉统治者阿部的矛盾，多次进行了改革。北魏初建时曾得到中原汉族世家豪强地主的支持，这些世家大族即宗主，拥有大量的人口、田地、财产，负责地方统治和征发徭役租税，成为北魏的地方基层政权。这种宗主督护制保障了地方利益，却削弱了中央权力和财政。宗主剥削属下的农民，发展势力，处处制约政府，社会矛盾逐渐激化。以孝文帝和冯太后为代表的孝文统治集团的改革势在必行。孝文改革首先围绕政治、经济制度进行。当时执政的冯太后是孝文帝的祖母，她是颇有才干的女政治家。献文帝死后，10岁的孝文帝继位，她以太皇太后身份临朝称制。
从公元484年开始，她颁布了一系列的改革措施。第一，整顿吏治，实施俸禄制。北魏前期吏治败坏，地方官员不论政绩好坏，任期都是6年。官吏没有俸禄，生活来源靠自行搜刮，巧取豪夺。冯太后针对吏治的混乱，规定官吏任期由政绩优劣决定，并推行班禄制，即给官吏发俸禄，官吏贪污价值一匹绢以上者一律处死。第二，实行均田制，发展经济。中原地区经过长期战乱，经济受到严重破坏，土地大片荒芜，世家大族乘机兼并土地，国家财政日益困难。公元485年颁布均田令，规定15岁以上的男子可向政府领受露田（荒田）40亩，女子20亩，用以种植谷物。因为土地要休耕轮种，露田可以加倍或两倍授给。另给男子桑田20亩或麻田10亩，用以种植桑麻。受田人年老或死亡时，露田要交还政府，桑田可以传给后代。均田制的实行有利于农业生产的恢复和发展。第三，建立三长制，加强对地方的控制。冯太后废除了宗主督护制，规定5家立一邻长，5邻立一里长，5里立一党长，这三长负责掌管田产、户口，征发租调徭役，维护地方治安等。三长制的建立确立了户籍制度，巩固了地方统治秩序。冯太后的这些改革措施，推动了北方经济的恢复和发展，加强了中央集权。
冯太后病逝后，孝文帝亲政，继续改革，主要进行的是以“汉化”为中心的文治改革。魏都平城地处边塞，气候严寒，农业生产条件差，交通运输也不便利，而迁都是政治经济发展的必然要求，但总是阻力重重。文帝首先取得任城王的支持，并精心编导了一幕“外示南讨、意在谋迁”的喜剧。493年，文帝亲率30万大军渡过黄河，进驻洛阳，准备大举南征。当时正值秋雨绵绵，军队疲惫不堪。众大臣纷纷跪在御马前，叩头哭劝，请求停止讨伐南齐。孝文帝让群臣在南征和迁都之间选择，百官宁愿迁都也不愿冒险南征。494年，孝文帝把都城迁到洛阳。迁都洛阳后，孝文帝实行全面汉化政策。从平城迁来的人都得改为洛阳籍，死后也要葬在洛阳。同时，他们都得改穿汉服，学说汉语，并改鲜卑姓为汉姓，号召胡汉通婚。孝文帝改姓为元，并带头娶4个汉姓女子做后妃，又为5个弟弟娶汉人为妻，并把公主们嫁给汉人。
孝文改革是成功的，它缓解了民族矛盾和阶级矛盾，巩固了鲜卑贵族在北方的统治，促进了各民族之间的融合，对中国多民族的统一做出了贡献。
北魏崛起后统一了五胡十六国，北周又进一步扩大了北朝的地域，成为南北对峙中北方的最后一个政权。公元581年，北周相国杨坚迫使自己的外孙、9岁的周静帝退位，自立为帝，改国号为隋，在北国政权的基础上建立了隋朝。文帝积极改革，增强实力，灭掉了南方陈朝政权，结束了东晋以来数百年分裂的局面，统一了南北。
杨坚生于贵族之家。父亲杨忠是西魏、北周的军事贵族，西魏时因辅佐宇文泰建立政权，受封为十二大将军之一。北周时官至柱国大将军，封为随国公。杨坚后来袭父职，他的妻子独孤氏是鲜卑大贵族独孤信的爱女，他的女儿杨丽华是北周宣帝的皇后。宣帝好酒色，常在后宫酗酒，并实施严刑酷法，统治无道，北周政权日趋衰落。宣帝死后，宦官郑译、刘昉假传遗诏，召杨坚进宫，并极力主张让他人宫辅政，杨坚因此总揽军政大权，并逼迫彦之议交出天子玉玺和兵符。为防止各地的诸侯王发动兵变，杨坚借口赵王要嫁女儿给突厥，把北周皇室成员召进京都，又让静帝下诏书把威望极高的元老重臣尉迟迥召回京师。尉迟迥统兵数十万，北联突厥，南结陈朝，在相州举兵反杨，同杨坚对抗。杨坚以韦孝宽为行军元帅发兵讨伐，尉迟炯兵败自杀。杨坚在重臣李穆、韦孝宽的支持下，不到半年时间，就平定了各方叛乱。580年，杨坚自称隋王，是因其父封随国公，而随字不吉利，国号便改为隋。隋朝建立后，文帝采取加强中央集权和发展社会经济的改革措施，国力渐渐强盛，为统一全国奠定了基础。
隋初，北方突厥的势力强盛，与隋朝对抗。突厥可汗曾率军南下大举侵隋，隋军损失惨重。后突厥内部发生叛乱，隋才得到短暂安宁。不久突厥内部矛盾更加激化，并分裂为东、西两汗国。文帝利用突厥的分裂进攻突厥，突厥大败，东突厥归附隋朝。隋文帝完成了北方的统一，转而集中兵力于南方。
文帝积极作伐陈的准备工作，令大将军贺若弼和韩擒虎镇守离陈国较近的广陵和庐江；大将杨素调集水工大造战船，做渡江的准备。587年，文帝灭掉后梁的割据势力，扫除了向陈进军的障碍。588年，隋文帝诏告天下，历数陈后主的罪恶，以瓦解陈军斗志，为战争做好舆论准备。之后，文帝令儿子杨广率兵50多万兵分8路，南下攻陈。
陈后主从小生活在宫廷中，根本不知创业和守业的艰难，沉湎于酒色，不理政事，朝中大臣有劝后主以国事为重的就被后主杀掉。当后主得知隋朝进攻后还不以为然，宣称有王气在陈国。隋朝首先在长江沿岸对陈军发起全面进攻，陈军毫无抵抗力，隋军乘胜包围建康。589年初，隋将韩擒虎、贺若弼率军渡江，分两路攻入建康。后主和张贵妃、孔贵妃躲到景阳殿的枯井中，最终还是当了俘虏，陈朝灭亡。自东汉以来4个世纪的分裂局面结束了，南北又归于统一，全国进入稳定时期。
科举就是采用分科考试的办法选拔官吏，是政府以不同科目对学有所长的读书人进行考试的制度。贵族和高官子弟可以通过门第关系做官，除此以外的子弟经过科举取得做官资格后，还需再通过吏部考试，考试合格的才可以做官。科举制是隋朝创立的，完备和兴盛于唐宋，衰落于明清，清朝末年被完全唆除，共存在了1300年。它起源于门阀等级制度盛行的时代，是当时先进的政治制度，它采用公平竞争的方式，对各种人才择优而用，是合乎时代潮流的，对后世的政治、文化、生活方式产生了深远的影响。
魏晋南北朝时期，选拔人才使用的是曹魏创立的“九品中正制”。曹操为网罗人才一再宣布“唯才是举”，曹丕在此基础上采用九品官人之法，就是选择有见识的官员，任各地方的中正，负责评审本地读书人的才能德行，将他们分为九品（等级），以此作为吏部授官的依据。
后来九品中正制流弊百出，严重地压制并摧残了优秀人才。由于许多寒门及庶族地主强烈要求参与政治，统治者也迫切需要科举制来选拔人才，为它的统治服务。文帝即位后，正式废除九品中正制，实行科举。
598年，隋文帝设立志行修谨（有德行）和清平干济（有才能）二科，他下诏命令五品以上京官和地方官总管、刺吏按这二科推荐人才，这被看作是科举制的开始。隋朝的科举制大体上有两种情况：一种是临时性的特科，一种是常设科目。603年隋文帝下诏，以明知古今、通识治乱、究政教之本、达礼乐之源等科目选拔人才。以后科举的名目逐渐增多。607年，炀帝下诏以德行敦厚、刚毅正直、执宪不挠、文才秀美、才堪将略、膂力骁壮等十科选拔德、才、体各方面表现突出的人，这些科目都是临时规定的特科，科目较具体，标准较明确，比较公平。比较固定的常设性科目有秀才、明经、进士三科，这些科目必须经过考试。秀才科先考试策，再考杂文，需要应试者具有很高的学识，录取标准很高，隋朝37年的历史中共录取了十多个人；杂文的题目往往是模拟名人名篇，难度很大。明经科主要是测试经典，即测试对某一儒家经典的熟悉程度，考中的人数较多。进士科是炀帝所创并且放宽了录取标准，它只试策，不考杂文，主要考文才。考中科举后只是获得了明经进士出身，取得了做官的资格，这之后还要通过吏部的考试才能任命为官员，当时的也就是做县尉、功曹等九品小官，他们在当时政治上并不占重要地位，但对后世有重大影响。这样一种新的选官制度在隋朝产生了，由此开始了文官考试制度的历史。
科举制的创立和九品中正制的废除，表明门阀世袭制的衰落和中央集权制的加强，它把读书、应考和做官联系在一起，这就给一般的甚至贫寒的子弟有一个公平的机会，同时，它把选官的权力集中在吏部和朝廷，加强了中央集权。