赵匡义即位以后，割据吴越的钱椒上表献出13州一军，主动削去吴越国号。赵匡义封钱椒为淮海国王，至此，宋朝统一了南方地区。
赵匡义于太平兴国四年（979年）下令进攻北汉，任潘美为北路都招讨使，攻取太原。
赵匡义从以往赵匡胤的失败中积极吸取教训，命邢州判官郭进担任太原、石岭关都部署，负责阻截辽国的援军。
赵匡义预料到契丹会出兵救汉，为了壮大军威，四月下诏亲征。五月，北汉指挥使郭万超投宋以后，北汉诸卫士纷纷降宋。北汉灭亡，五代十国的割据局面至此结束了。
六月，赵匡义率兵攻打辽国的易州（现在的河北易县）。辽刺史刘宇降宋。随后，赵匡义又率兵攻打涿州，辽涿州判官刘厚德亦降宋。赵匡义旗开得胜，连续攻下二城，又率兵攻打辽南京（现在的北京）城南，守将耶律学古拼死抵御。
此时攻城不下，士兵们开始懈怠。这时，辽朝的援军耶律休哥到达高粱河（现在的北京市）。
赵匡义率大军迎击高粱河之敌。双方在高粱河摆开阵势，一时之间，金鼓齐鸣，旌旗飘动，宋军上下奋力激战，辽兵受到重创，渐渐后退。
就在辽军快要支持不住，宋军发动猛攻之时，辽国善于用兵的良将耶律斜轸和耶律休哥率领两队辽兵赶到，从宋军左右冲杀过来，宋军诸将被辽兵分割开来，渐渐败退。
耶律休哥率军直取赵匡义，众将奋力掩护赵匡义逃至涿州。
赵匡义为了扭转高粱河败局，于雍熙三年（986年）正月起三十万大军，命曹彬、米信，田重，潘美、杨业兵分三路攻辽。
宋军初期作战顺利，节节获胜。但是三路宋军相互之间缺少合作，不久又纷纷战败。杨业父子率兵在陈家谷与辽军浴血奋战，援兵却迟迟不到。杨业身负几十处重伤，所率将士大多战死，最后不幸被辽军俘获。杨业面对辽军的威胁和利诱，绝食而死。
杨业失援败死的消息传回，宋廷大震。云、应、朔诸州将吏纷纷弃城而逃。辽军深入深（现在的河北深县）、德（现在的山东德州）、邢（现在的河北邢台）等州，烧杀抢掠，宋境边民财物损失惨重。
赵匡义在作战方面远不及行伍出身、身经百战的赵匡胤。自诩高明的赵匡义自己没有多少实战经验，每次作战却刚愎自用，亲拟阵图，这使宋军将士的手脚被严重束缚住了。
端拱元年（988年）秋，涿州、新乐（现在的河北新乐）等地相继失守，北部边境警报不断传来。赵匡义对群臣说道："辽军不肯收兵，不断骚扰河朔，看来只有大举北伐了。"
对此大臣们各执己见，有人主和，有人主战。以宰相李防为首的主和派要求太宗屈己求和。以右正言、户部郎中张洎等人为首的主战派建议赵匡义加强武将的兵权，激励军中将士，以图收复失地。
对于主和派，赵匡义本人在感情上无法接受屈辱求和的主张。对于主战派，赵匡义的内心已丧失了北伐的信心和决心。因此，赵匡义虽然大加封赏主战派，却不打算付诸于行动。
赵匡义准备与辽国和解。宋军对辽朝从进攻转为防守，是从赵匡义开始的。从此以后，宋军的战斗力不断减弱。