这时后周宰相范质等人才知道上了大当，但已无可奈何，只得率百官听命，翰林学士陶谷拿出一篇事先准备好的禅代诏书，宣布周恭帝退位。赵匡胤遂正式登皇帝位，夺取了后周政权，改封恭帝柴宗训为郑王。由于赵匡胤在后周任归德军节度使的藩镇所在地是宋州（今河南商丘），遂以宋为国号，定都开封。
在北宋取代后周的过程中，因赵匡胤注意严肃军纪，一回开封就下令军队各归兵营，开封城中没有发生以往改朝换代时出现的那种烧杀抢掠的混乱局面，因而得到原后周大小官吏的支持。北宋建立伊始，后周一些带重兵在外执行巡边使命的将领，如慕容延钊、韩令坤，大都表示拥护宋太祖登皇帝位，只有盘踞潞州（今山西上党）的昭义军节度使李筠及在扬州的淮南节度使李重进先后起兵反抗，于是宋太祖亲率大军平叛，在不到半年的时间里先后击败李筠和李重进。李筠和李重进当时是后周境内两个力量较强的藩镇，他们的失败，使得一些势力较小，又对赵匡胤代周不满的地方藩镇更感到无力与中央抗衡，也只得表示屈服。这样到建隆元年（公元960年）末，北宋在原后周统治区已基本上稳定了局势。
虽然，赵匡胤在不到一年的时间内，就稳定了内部政局，但是在宋的辖区外，北方有契丹族建立的强大的辽政权和其控制下的北汉；南方有占据江汉一隅的南平、占据湖南14州的武平、据有两川、汉中45州的后蜀、据有岭南60州的南汉、据有江淮地区的南唐、据有两浙地区的吴越等割据政权。这一客观形势，不能不使赵匡胤深深感觉到卧榻之侧，皆他人家也。
因此，当政局稳定之后，赵匡胤就开始考虑如何把周世宗统一中国的斗争继续进行下去。起初，他曾经想把北汉作为首要目标，但文武官员都不赞成先攻北汉，认为这样做有害无利，后来赵匡胤就放弃了先攻北汉的打算。在一个大雪纷飞的夜晚，赵匡胤和其弟赵光义走访赵普共商国策。赵普听了宋太祖试探他的话“欲收太原”之后，沉吟良久然后说，先打太原有害无利，为何不等到先削平南方诸国之后再攻打北汉，到那时“彼弹丸黑子之地，将何所逃”。这一分析正合宋太祖走访赵普的初衷，他大为高兴。一个先消灭南方各个割据势力，后消灭北汉的统一战争的战略方针就这样确定了，也就是后人归纳的“先南后北”、“先易后难”的方略。北宋的统一战争基本是按照这个方略进行的，对辽和北汉，在削平南方割据势力前，基本上采取守势，选派宿将，率领重兵，镇守北部要点，并对来犯之敌适当反击。同时与契丹互派使臣发展关系，力图保持北方战线的暂时安定。对南方各国则密切注视它们的政治动向，寻找时机。
建隆三年（公元962年）九月，割据湖南的武平节度使周行逢病死，11岁的幼子周保权继位。盘踞衡州（今湖南衡阳市）刺史张文表乘机发动兵变，攻占潭州（今湖南长沙），企图取而代之。武平统治者一面派军抵挡，一面派人向宋求援。十一月，南平统治者高保勖也病死，侄高继冲即位。久已图谋南下的赵匡胤，看到武平和南平接连发生丧乱，认为有机可乘，遂采取一箭双雕的方针：以借道为名灭南平，以救援为名灭武平。
乾德元年（公元963年）正月初七，赵匡胤命慕容延钊、李处耘等出兵湖南。当经过南平时，要求假道过境。南平对宋的借道要求，意见不一。高继冲未做任何应变准备。
二月初，宋军进屯襄州（今湖北襄阳），派人告知南平为宋军准备给养。这时，高继冲遣使以犒师为名探听宋军的真实意图。二月初九，使者与宋军在荆门（今湖北荆门）相遇，慕容延钊假意殷勤款待，暗中由李处耘率轻骑数千，乘夜向江陵急进。高继冲至城外，等待延钊大军，而李处耘则率兵先入城，迅速占领江陵城内要地。高继冲见大势已去，举城投降。宋军灭南平后，征调南平万余人，合兵向武平急进。
这时，武平已击杀张文表，平息了内乱。周保权获悉宋军压境的消息，决定抵抗。于是慕容延钊分兵两路，水陆并进：水师东出岳州（今湖南岳阳）；陆路则出澧州（今湖南澧县）直指朗州。水路从江陵沿长江顺流而下，二月末大破武平军于三江口（今岳阳北），进占岳州。陆路三月初进至澧州南，同武平军遭遇，将其击溃，接着占领朗州，生俘周保权，湖南平定。
北宋占领荆、湖后，后蜀东北两面处在北宋的攻击之下。于是赵匡胤开始谋划攻蜀事宜。派人勘察川陕地形，以备由陆路攻蜀；同时修造战船，训练水军，以备由水路溯江入蜀。
这时，后蜀也感到了宋军的威胁。蜀主孟昶采纳王昭远的建议，决定严兵拒守，以抗宋军。当时北宋东临三峡，北控陇右和秦岭各隘口。于是后蜀一面派兵东屯三峡，另一面派人约北汉同时举兵夹攻宋朝。哪知派出的使者中途投宋，向赵匡胤密报了后蜀实情，并绘呈后蜀山川形势和兵力分布图。正欲伺机攻蜀的赵匡胤，以此为借口，于乾德二年（公元964年）十一月初二，发兵两路攻蜀：北路以王全斌、崔彦进、王仁赡等率步骑3万出凤州，沿嘉陵江南下；东路以刘光义、曹彬等率步骑2万出归州（今湖北秭归），溯长江西上，两路分进合击，会师成都。由于孟昶荒淫腐朽，不修军政，蜀军士气低落，抵挡不住宋军的猛烈攻势。宋军二路兵马势如破竹，连败后蜀军，迅速进逼成都。
乾德三年（公元965年）正月初七，孟昶见大势已去，被迫向王全斌投降，后蜀至此灭亡。
宋消灭后蜀后，南汉屏障已失，岌岌可危。开宝三年（公元970年）九月，赵匡胤命潘美为桂州道行营都部署，率兵大举攻南汉。南汉主刘铱派大将伍彦柔率舟师抗宋。宋军设伏以待，大破南汉军。刘钅长急忙起用老将潘崇彻率兵5万进屯贺江口（今广东封开西北）。但潘崇彻进驻贺江口后，拥兵自保，观望不前。潘美见南汉军逗留不进，遂挥师西上，连克昭、桂、富等州，解除了后顾之忧。十一月迅速转向东攻克连州。直逼韶州，击败南汉李承渥所率10余万兵，攻占韶州。消息传来，南汉举国震恐。刘铱命郭崇岳领兵6万屯马迳（今广州北）以守卫兴王府（今广州）。此时屯驻贺江口的潘崇彻，见大势已去，率部投降。宋军遂全力推进，迫近兴王府。刘铱见形势危急，遣使向宋军求和。潘美率军疾进，于正月二十八日到达马迳，与汉军对峙。刘钅长求和后不久即反悔，于二月初一遣其弟刘保兴率兵至马迳增援督战。二月初四夜，潘美利用火攻，大败汉军，郭崇岳死于乱兵之中，刘保兴逃归兴王府，宋军追击至城下。二月初五，刘钅长出降，宋军进占兴王府，南汉灭亡。
宋灭南汉后，对南唐形成了三面包围。南唐后主李煜为苟安求存，一面主动削去南唐国号，表示臣服；一面暗中募兵备战，以防宋军进攻。
开宝七年（974年）九月，宋太祖在出兵南唐的准备工作就绪之后，遣使命李煜入朝，李煜惧怕被扣留，称病固辞。宋太祖以此为借口，以曹彬为统帅，下令进攻南唐。其具体部署是：曹彬率荆湖水军顺流而下，攻取池州以东长江南岸各要点；潘美率步骑兵由和州与采石间渡江，会合曹彬东下直攻金陵；京师水军自汴水而下取道扬州入长江攻取润州；以吴越王钱俶率兵从东面配合宋水军攻金陵；以王明率军牵制江西唐军东下赴援。
十月十八日曹彬率师沿长江顺流东下，南岸唐军以为宋军是例行巡江，未加阻击，使宋军顺利通过南唐屯兵10万的要地湖口。十月二十四日，宋军突然渡过长江，水陆并进，直趋池州，夺占采石，连克金陵外围据点，并在秦淮河击败南唐水陆军10余万，形成了对金陵的包围。金陵被围数月，李煜全然不知。
开宝八年（975年）五月，李煜登城巡视，见宋军已进逼城下，急忙命朱令赞率10万守军东下赴援。朱令赞率水步军号称15万顺江东下，在皖口遇王明部阻止。朱令赞以火攻宋军，因风向改变，反烧自己。宋乘势猛攻，全歼南唐援军。此时金陵被围九个多月，曹彬再三致书劝降李煜，均被拒绝。十一月二十七日宋军发起总攻，金陵城破，李煜被迫投降，南唐灭亡。
在削平南方诸国其间，宋太祖曾两次出兵进攻北汉，均未获克捷。
开宝九年（公元976年）十月，宋太祖突然死去，他的弟弟赵光义继位，是为宋太宗。太宗继承了他哥哥未竟的事业，使用政治压力，迫使吴越钱俶和割据福建漳、泉二州的陈洪进纳土归降，两浙、福建亦归入宋的版图。
太平兴国四年（公元979年）正月，宋太宗亲率大军北征，他采用了围城打援的战法，派潘美等率军四面合围太原，并击败了辽朝的援兵，北汉主刘继元困守孤城，在外无援兵、内部厌战的情况下，于五月初五被迫投降，北宋统一战争至此结束。