北宋建立后，宋太祖通过一系列措施牢牢把军政大权集于一身，但宋太祖依然惶恐担心，因为当时中原尚未统一，南方小国依然割据一方，宋太祖决定兼并其他小国，统一中国。
宋太祖把自己的弟弟和赵普叫来，宋太祖的弟弟叫赵匡义，当赵匡胤做了皇帝，赵匡义就改名为赵光义了。宋太祖对他们俩说：“大丈夫应该有远大的志向，朕准备派兵灭掉周围这些小国。你们看这仗该怎么打？”
赵普说：“北方的辽国势力很大，不好打。南方的国家地盘小，兵也少，容易打。另外，南方很富裕，如果打下了南方，我们就能得到很多粮、很多钱，我们大宋的力量会越来越强，然后再派大将打北汉和辽，万岁以为如何？”
赵光义接着说：“南方小国之间闹矛盾，心不齐，我们正好一个个把它们消灭掉。”
宋太祖说：“二位说的和朕想的一样，我们就来个先南后北！”
宋太祖与赵光义和赵普商量后，决定先攻打离宋最近的南平国，南平国的都城在江陵，地盘在现在的湖北中西部。
963年，北宋大将慕容延钊和李处耘，率兵直逼南平城下，要借道南平城攻打张文表。南平一开城门，便被宋军占领，张文表死于非命。打下南平，宋军继续向南，分水陆两军，沿江而下。准备攻打后蜀，后蜀国君孟昶和宰相李昊都是昏庸之辈，大将王昭远只会纸上谈兵。
当后蜀的君臣得知宋军攻下了南平，立刻慌了手脚，他们就派人和北汉联系，想共同攻打北宋，他们没想到密信被宋军查出来了，这样宋太祖又有了理由。964年十一月，宋军分两路由开封出发，北路军由大将王全斌、崔彦进率领；东路军由刘光义、曹彬率领。
十二月份，天渐渐冷了。这一天，从京城来的使者追上了王全斌的部队。原来，宋太祖看到京城下雪，想起了打仗的士兵。他就拿出自己的貂皮帽，派人送到军队中去。
兵卒们看到貂皮帽，心中都十分激动。一个兵卒大声喊：“弟兄们，咱们一定要好好打仗呀！”大家齐声欢呼起来。
宋军士气高涨，将兵一心，浩浩荡荡攻向后蜀，后蜀大将王昭远退回剑门关，宋军一鼓作气，攻克剑门关，活捉了王昭远。蜀王孟昶见宋军势如破竹，长叹一声，命宰相李昊写了降书，后蜀灭亡。
970年九月，北宋元帅潘美领兵攻打南汉，南汉国主刘为人残暴不仁，滥施酷刑，南汉臣民早有反心，宋军一来刘便已众叛亲离，大臣纷纷逃亡，随后，南汉灭亡。
宋军真是连连胜利，下一个就轮到南唐了，南唐的地盘比较大，但力量很弱。南唐的国君就是著名的词人、文学家李煜。李煜的父亲李当国君的时候，就对宋很尊敬，每年都送去很多金银玉器。李煜继位，对宋更尊敬，他将国号去掉，自称江南国主。李煜万万想不到宋军会来打他。何况，当年宋军攻打南平、后蜀时，南唐还支持大宋，为大宋出了不少力。
但宋太祖顾不上这么多，打下了南汉，可以说宋军三面包围了南唐。974年九月，曹彬率领十万大军，向南唐扑来。李煜认为有长江天险，宋军就是插上翅膀也过不来，因此他在宫中继续喝酒玩乐。
长江天险对宋军是极大的障碍，宋军先派人丈量了长江的宽度，用大船搭好浮桥，大批宋军迅速过河，把南唐国都金陵团团围住，而此时的李煜尚在宫中吟词作赋，嬉戏游玩，不知大祸将至。
等有人报告后，李煜看到里三层外三层的宋军，顿时魂飞魄散，这时身边一个文臣站了出来，他说自己要找赵匡胤讲理去，李煜一看是徐铉。
在开封，徐铉对宋太祖说：“我主李煜已经对宋称臣，就像儿子侍奉父亲，没有犯错误，为什么还要攻打我们呢？”
宋太祖一听，满脸的不高兴：“那么父子就可以分成两家吗？天下是一家，朕的睡床上，怎么能让别的人睡觉呢？！”
徐铉见宋太祖如此坚决，知道多说无益，只好无奈地回到了金陵向李煜复命。这一年十一月，北宋派军队攻克金陵，李煜投降，南唐灭亡。
吴越占据了浙江、江苏一带，国君钱像李煜一样，对宋朝也是俯首称臣毕恭毕敬。当宋军攻打南唐的时候，李煜写信去吴越求取救兵，但吴越国主钱慑于大宋的威力，不敢得罪宋朝所以弃之不救。李煜在第二封信里说：“今天没有了我，明天也不会有你！你早晚也得成为开封的一个平民！”
果然如李煜所言，南唐灭后，宋太祖召钱来朝见，钱吓得要死，宋太祖稍微吓了一吓他，这位国君便立刻惟命是从。钱回去后派人给大宋送去许多财物，宋朝说什么，钱听什么，吴越实际上不再是一个国家了。
宋太祖最后派兵消灭了福建等地的一些政权，南方基本上统一了。
尽管赵匡胤当皇帝不太光彩，可是他从963年开始，到976年止，用了十三年的时间，消灭了南方的割据政权，完成了南方的统一。