北汉割据政权局处一隅，虽然土地狭小，出产微薄，但城坚地险，民风剽悍，并仿效五代后晋皇帝石敬瑭臣服于辽的做法，向辽称“儿皇帝”、“侄皇帝”，以换得契丹铁骑的支持，才得以立国。曾跟随周世宗在高平与北汉军激战过一场的宋太祖，对于北汉这个老对手，想来心中一直不能忘怀，尤其是反宋势力如盘踞潞州的李筠、割据四川的后蜀主孟昶等，皆曾联络北汉，威胁宋朝河南、关中等腹心地区，这让宋太祖更为愤怒。因此，宋太祖屡次想把北汉作为首要目标，拔除这个眼中钉，但终因时机未成熟而作罢。
开宝元年（968年），北汉国内因王位继承问题发生变乱。七月，北汉主刘钧死，刘继恩即位。刘继恩刚愎自用，且又怯弱无能，因愤恨宰相郭无为独揽朝政，多次想废掉郭无为，却终因怯懦而迟迟不敢行动。郭无为先下手为强，于九月间让供奉官侯霸荣等十余人持刀闯入刘继恩的寝宫，杀死了刘继恩。侯霸荣等人见大事已就，便欲逃走，谁知郭无为又暗中遣兵跟随在后，将侯霸荣等人一起杀死灭口，使自己成为斩杀弑君凶犯的大功臣，同时一手将刘继元扶上了皇位。侯霸荣曾于战斗中被宋军所俘，后被放回。从当时的一些记载来看，他实是宋太祖派到北汉的间谍，由此可见郭无为也因宋朝显示出统一天下的趋向，故与宋人暗中交往，以为自己多留一条后路。宋太祖同时派出的间谍还有惠璘等人，在郭无为的安排下，惠璘也成为北汉的供奉官。当时，惠璘见侯霸荣败露，便欲逃归宋境内，不料途中被北汉兵抓获，送回太原。郭无为设法释放了惠璘，但知晓惠磷底细的北汉将校李超一再要求依法处置，郭无为干脆把李超给杀了。郭无为种种所为，引起了北汉主刘继元等人的愤怒，使得北汉内部矛盾进一步激化。
宋太祖认为有机可乘，即不顾赵普“先南后北”的既定战略，任命昭义军节度使李继勋为河东行营前军都部署，侍卫步军都指挥使郭进为副都部署，宣徽南院使曹彬为都监，率领河东诸州精兵分潞州和汾州两路北征太原。刘继元刚即位，宋军已进入北汉境内，连克北汉军寨，直逼太原城下，夺取汾河桥，焚毁延夏门。
宋太祖再次施展软硬两手，在宋军兵临太原城下的同时，又遣使臣持诏书晓谕刘继元出降，并约定投降后授予其平卢节度使之职；并赐郭无为以下40多位北汉大臣诏书，许诺授予郭无为安国节度使，其他诸人也均以高官厚禄相酬。郭无为得到诏书后，心为之动，便把其他诏书藏匿起来，只拿出给刘继元的那份诏书，并因此劝说刘继元降宋，但被刘继元一口拒绝。
当时辽国和北汉矛盾颇深，但却不愿坐看宋朝灭亡北汉，从而使辽、宋之力量对比朝对自己不利的方面发展，所以在接到刘继元的求援请求后，即命将率军驰援。十一月，久攻太原城不下的宋将李继勋等得知辽军来援，担心腹背受敌，引军而退。北汉兵乘机联合辽军，入寇晋、绛二州，大掠一番后满载北还。
宋太祖对第一次北征太原无功而返心中不甘，打算亲征北汉，曾特意向大臣魏仁浦征求意见，魏仁浦认为“欲速则不达”，劝说天子还是按既定的先南后北之统一方略进行。但宋太祖决心已下，于开宝二年（969年）二月下令御驾亲征，并先遣曹彬、党进等人率军直奔太原，再遣李继勋为河东行营前军都部署，赵赞为步军都虞候，率精兵随后跟进，然后自己率大军而行。
鉴于上次征讨北汉因契丹援兵南来而失败，故为保证此次御驾亲征的成功，宋太祖又任命韩重赟为北面都部署，率兵防备契丹骑兵乘虚南下进攻河北，任命何继筠为石岭关（今山西阳曲东北）部署，屯兵阳曲，以阻击辽军自幽州方向西进增援太原。在韩重赟出征前，宋太祖授以锦囊妙计，说：“契丹知我亲征，必率军来援，彼以为河北镇州、定州一带无备，将由此路而下，卿可为朕领兵倍道兼行，出其不意破之。”果然不出所料，辽军南下定州侵扰宋境，遭到宋军的突然痛击，大败而溃退。
宋太祖虽然把亲征北汉所可能遇到的情况都考虑到了，并安排了对策，但还是没有料到天气也会与自己作对。当时，宋太祖率宋军主力进入潞州地区，却因阴雨连绵，停留了整整18天。有一天，宋军抓住了一名北汉间谍，宋太祖亲自提审，以了解太原城中情况。那间谍答道：“城中民罹毒久矣，日夜望车驾，唯恐其迟来耳。”从此后情况发展来看，那间谍当是为活命而撒了谎，但宋太祖听后，却信以为真，一扫郁积心中多日的烦恼，下令三军催马启程，杀奔太原。
三月，宋太祖来到南关，接连收到前方传入的捷报，故催兵进逼城下，四面围攻太原城。宋太祖登上城外高坡，经仔细考察地形，立即征召数万民夫来城下挖壕立栅，号长连城，命李继勋、赵赞、曹彬、党进四将率兵分攻太原城四面：李继勋在城东，赵赞在城西，曹彬在城北，党进在城南。宋太祖还分遣诸将四出，攻打北汉其他州县。
但宋军的凌厉攻势，却遇到北汉大将刘继业率领的北汉士卒的顽强抵抗，一时难有进展。刘继业即后来的杨家将之杨老令公杨业，能攻善守，颇有谋略。此前，刘继业曾率军前往团柏谷抵御，失利而还。宋军进逼太原，与北汉士兵为争夺入城要道汾河桥发生激烈交战，北汉军死伤一千余人，逃归太原城内。北汉主刘继元为此一度将刘继业停职。至此，北汉军乘夜色从西门突出，偷袭赵赞所在的城西宋寨。赵赞率众迎击，被流箭射中脚底，宋军一时有些支持不住。因汾河桥在战斗中被毁，宋太祖下令将军李谦溥率部采伐太原西山林木重建汾河桥。这时李谦溥听到战鼓声响，急速率部赶来，和赵赞合兵，才将北汉军击退。刘继业又率精骑数百人突袭东寨，被党进领兵击溃。刘继业逃到城下，狼狈地攀着绳篮缒入城中，才避免成为俘虏。不过就是如此，北汉守军依然防守严整。
有一天，宋太祖又纵马来到城外高坡，俯视太原城。此时左神武统军陈承昭进言说：“陛下自有百万雄兵在左右，为何不用？”宋太祖未明白所指，陈承昭便以马鞭指着远处的汾水。宋太祖恍然大笑，随即命令陈承昭率众筑堤蓄水，要引汾水灌淹太原城。宋太祖也时常手持宝剑，赤露手脚，坐在黄盖之下亲督进度。
四月，辽朝接到北汉的求救，派兵分道南下，一路入寇河北定州，被宋将韩重赟击败，一路欲经石岭关西进增援太原，也遭到了宋军何继筠部的阻击。据说何继筠出发前，时近盛夏，宋太祖特命人做了碗麻酱粉，亲手递给何继筠，说：“明日中午，朕在此等候捷报。”何继筠倍感荣宠，吃完，上马即行。何继筠到石岭关列阵，在阳曲之北与辽军大战，擒获辽武州刺史王彦符等百余人和战马700余匹，斩首上千级。为瓦解正盼望契丹援兵的北汉军民斗志，宋太祖命令将宋军在石岭关一战中斩获的首级和缴获的铠甲陈列于太原城外，但太原军民仍旧严守不降。经过围城打援之后，太原已成为一座孤城。宋太祖见时机已到，下令破堤放水灌城，顿时太原城内外一片汪洋。在大水的漫灌与浸泡之下，太原南城的一段城墙崩塌，宋军乘着小船发起猛攻，甚至放火烧毁了南城门。不料处于绝境之中的北汉将士更为顽强，拼死抵抗。辽朝派来太原的使臣韩知璠也被困孤城，他深惧刘继元出降，使自己成为宋军俘虏，所以日夜亲临城头督战，等待契丹军队的再次赴援。望着豁口越来越大的城墙，宋军争先恐后朝那里冲击，却被北汉将士死命抵挡住。北汉军队还设法用柴草堵死缺口，随之修补好崩塌的城墙。宋、汉双方都伤亡惨重，宋军骁将王廷义、石汉卿也在攻城时身中流矢，先后毙命。宋太祖大怒，督军围攻更紧。
此时，北汉宰相郭无为再次苦劝刘继元出降，并在刘继元大宴群臣时拔出佩剑装出要自杀的样子，说是以太原孤城抗击百万大军，何异于以卵击石，与其被俘受辱，不如一死谢先王，但为刘继元所劝阻。一计不成，再施一计。郭无为不久又在刘继元面前做出要与宋军决一死战的样子，请求让他率军出城夜袭宋军。刘继元对他已很不信任，但看在他是扶持自己登基的老臣分上，还是选出一千精兵让他率领，却又派大将刘继业、郭守斌为其副将，以便暗中监视。郭无为领兵出城时天气晴朗，忽然间风雨大作，行至北桥，他才发现刘继业已借口坐骑伤足引兵回城，郭守斌也因迷失道路而失去了联系。郭无为本有裹胁众将士降宋之意，此时见身边仅剩数十人骑，自忖以这些人马降宋，大概难得宋太祖的厚赏，只得无奈地转回了城内。宦官卫德贵早已对郭无为不满，至此向北汉主刘继元揭发郭无为的阴谋，刘继元为稳定人心，下令将郭无为缢杀于太原南城城头，向宋军示威。
经历四个月的苦战之后，宋军的攻势已成强弩之末，而且潮湿炎热的环境也使宋军中痢疾流行，士气不振。宋太祖对此颇感进退两难，亲征太原是宋太祖在消灭李重进反宋势力之后第一次，也是唯一的一次亲征割据政权，如以失败告终，大大有损天子的威名。但督师强攻恐也一时难以奏效，此时又传来了辽军再次发大军陆续赶来增援的消息，形势的发展渐对宋军不利。于是太常博士李光赞不失时机地上书论事，他在找了一大堆客观理由之后，建议天子退兵。宋太祖在和宰相赵普商量后，决定采纳李光赞的建议，部署撤军。但一些渴望建功立业的殿前司武将叩头请战，愿以死效力。已萌生退兵之意的宋太祖可不愿让自己的精锐卫兵无端送死，便阻止说：“汝曹皆我亲自训练，无不以一当百，所以用来卫护我左右，休戚与共、我宁愿不得太原，也不能驱汝曹冒锋刃，去必死之地！”宋太祖在赢得众将士们的感激涕零之后，裹胁太原城外的1万余户北汉百姓随自己班师南还。
宋军撤退后，北汉主刘继元立即派人排除城内外积水。太原城墙因浸泡时间过久，待积水下落后，接连有多处崩塌。契丹使者韩知璠见状大为感叹说：“宋军引水浸城，只其一而不知其二，如果先浸后涸，则太原城将落入宋人之手矣。”此语如若传入宋太祖的耳中，不知久经战阵的宋太祖作如何想。
宋军北征时浩浩荡荡，至此撤军时就颇有些狼狈、匆忙，沿途遗留下大量辎重、粮食、布匹等，仅落入北汉手中的粮食就有30万斛。北汉于兵火之余，得到这些物品后，才得以稍解困窘。但北汉经此一战，国力更为疲敝不堪，实力大为削弱。
亲征太原的失利，使宋太祖重新回到“先南后北”的既定方略上来，待宋军攻克金陵，灭亡南唐，大体完成了对南方的统一之后，宋太祖再次将目光转回太原城。开宝九年（976年）八月，宋太祖任命侍卫马军都指挥使党进为河东道行营马步军督部署，宣徽北院使潘美为都监，虎捷右厢都指挥使杨光义为都虞候，骁将郭进为河东忻、代等州行营马步军都监，分兵五路开始了第三次北伐。九月，宋军一路进展顺利，党进率领宋军主力抵达太原城下，大败北汉军数千人。然而就在此时，宋太祖在“烛影斧声”这一千古疑案中神秘去世，接替皇位的宋太宗下令撤军，使得此次北征太原，又一次无功而返。
宋太祖三次北征太原，虽然未达到灭亡北汉的初衷，但还是给了北汉沉重的打击。当时北汉所属11州中仅剩下军兵3万，人口约三万五千户，“得之不足以辟土，舍之不足以为患”，北汉灭亡已指日可待。太平兴国四年（979年），宋太宗在初步稳定了自己统治，并最终解决了南方割据政权以后，再次集中兵力，派大将潘美等分兵四路进攻北汉，把太原城围得水泄不通。宋太宗吸取以往宋太祖两次遣军出征北汉，都因契丹增援而无功而返的教训，特派勇将郭进驻扎在白马岭，击溃契丹援军，契丹大将耶律敌烈败死。是年四月，宋太宗亲至太原城下督战，筑起长围，断绝太原城中一切物资供应。五月，孤立无援的北汉主刘继元计穷力竭，开城出降。至此，军阀混战、政局动荡、生灵涂炭、民不聊生的五代十国历史全部结束。
对于宋朝来说，在军事上能真正对宋朝形成威胁的，也只有占据着北方燕云地区的契丹骑兵了。当年五代石敬瑭为换取辽朝的支持，将燕云十六州拱手相送，使得纵横于东北平原上的契丹骑兵不战而得这一战略地位极其重要地区，而将其国界向南推进到雁门关、滹沱河一线。辽朝对燕云地区给予了高度重视，将幽州（今北京）定为南京析津府，也称燕京，此后又改云州（今山西大同）为西京大同府，并以此为基地，动辄扬鞭南下，牧马中原。因此对中原王朝而言，具有重要战略地位的燕云十六州既失，在河东方向尚有雁门关等关隘，相当于今内长城一线，还算是有险可守，这大概就是出身行伍的宋太祖屡次中断“先南后北”的进军方略，回头进攻北汉的主要原因之一吧。宋太祖十分清楚夺得雁门关一线，以堵上契丹骑兵南下通道的意义；而在河北方向，自古以来就把燕山山脉作为中原政权抵挡北方游牧民族骑兵南下的天然屏障，因此处于燕山南麓的燕京地区被辽人控制后，整个华北平原便无险可守，门户大开。为此，周世宗在攻占了南唐淮南地区之后即匆匆收兵，然后掉头北征燕京，攻取了三关地区，其原因也在于此。宋太祖登基后，虽然迫于当时双方实力对比，采取了“先南后北”、“先易后难”以统一天下的战略方针，但内心一刻也没有忘记燕云地区。
乾德元年（963年）底，有军校上书“献阵图，请讨幽州”，宋太祖给予他不少赏赐以为鼓励。宋太祖还曾对赵普说，他日收复燕京后，将在长城上主要关隘古北口一带设防。也就是在这前后，宋太祖从统一荆湖地区开始，便在皇宫内左藏库外，又在讲武殿后另外设置封桩库，将所缴获的金银财物收藏其中，此后国家财政收入的盈余部分也被存入封桩库。宋太祖说：“石敬瑭为一己私利，割让燕、云诸州以贿赂契丹，使一方百姓独限境外，朕甚为悯惜。等到此库中满五百万缗，当向契丹赎燕、蓟（蓟州，今天津蓟县）。如其不答应，则散此钱财募集勇士，用武力攻取。”并且对左右侍臣说：“我以二十匹绢购一契丹人首。其精兵不过十万人，止费二百万绢，则敌尽矣。”宋太祖设想用钱财从契丹手中赎回燕云十六州的原因，在于燕云地区是石敬瑭割让给辽朝的，而非契丹骑兵攻战夺取的，因此宋太祖首先考虑通过赎买方式收复对中原王朝存亡攸关的燕云十六州。当然，双方实力对比也是宋太祖不敢轻易向辽朝开战的重要原因。
当时宋军禁军兵力不足20万，以步军为主，其境内所辖人口也只有96万余户，而又“帑藏空虚”，即国库空虚，根本不能支持宋军大规模北伐燕云地区。而辽朝的兵力，据《辽史》称有精兵30万，根据今人考证，此数字有误，但考虑到契丹游牧民族全民皆兵的特点，其军队人数当不会少于宋军，而且多为骑兵，剽悍轻捷，利于野战。因此在野外平原上作战，宋军实难占得便宜。既然没有胜算，身经百战的宋太祖当然不可能以硬碰硬，首先将兵锋指向北方。
建隆元年（960年）初，宋太祖利用统领禁军北上抵抗契丹兵马入侵的借口，发动兵变夺取了后周政权，此后南北之间发生多起小规模的战争，互有胜负。宋太祖为实现先扫平南方割据政权的目标，对北防御，派遣宿将驻守北边诸州，只在边境上适当显示武力，并对来犯之敌进行适当而对等的反击，而不主动进攻辽朝，力图保持北方战线的暂时安定，使自己得以全力荡平南方诸割据政权。为此，宋太祖于开宝年间攻灭南唐政权的关键时刻，又让河北守将主动派人与辽约和，双方使臣互相来往，维持一段时期的和平相处。
开宝八年（975年）正月，宋遣使辽贺正旦，自是双方互派使臣。三月，辽朝使臣来开封拜见，宋太祖当日便接见，并赐给礼物，然后在长春殿设宴款待。宋太祖又把辽使召到便殿，观看禁军士卒的骑射表演，还令禁军卫士与辽使的两个侍从进行击毬比赛。辽使告辞时，宋太祖又召见赐给礼物，并对宰相说：“自五代以来，北敌强盛，是因为中原衰弱，使得后晋出帝成为契丹俘虏，真是糟糕至极。现今其仰慕而来，乃是时运使然，非我有大德所能招致者。”八月，辽朝使臣再次来到开封，宋太祖对来使赏赐了很多礼物，并让他们跟从自己去郊外打猎。宋太祖亲自走马射猎，箭无虚发，那辽使一见，伏地呼“万岁”，并私下里对翻译说道：“皇帝神武无敌，射必中的，所未尝见也。”年底，辽朝遣使臣来开封祝贺新年；次年初，宋太祖也派遣使臣北去祝贺辽景帝的生日。
在这段时间中，宋朝按照“先南后北”的统一方略先后消灭了南方诸割据政权，辽朝也稳定了内部统治，扭转了逐渐衰微的国势。
以生活于我国东北、北方地区的契丹族为主体建立的辽朝，在五代初期，其势力已南侵至中原北缘。至石敬瑭割让燕云十六州，使契丹骑兵得以长驱直入中原腹地，此后契丹灭后晋，辽太宗兵入开封，建国号大辽，欲做中原天子，但在中原军民的坚决抵抗下，狼狈北撤，死于途中。在辽太宗之后即位的辽世宗、辽穆宗皆在屡屡发生的政变和叛乱中先后被杀，契丹国内，政局不稳，国势衰弱。故五代末年，周世宗乘势从辽军手中夺取了三关之地。至此，残虐的昏君辽穆宗已死，继位的辽景宗政治较为清明，并经过十余年的休养生息，社会较前稳定，经济实力有所增强。
吴越王钱俶“纳土”后，意气风发的宋太宗决心继承太祖遗志，在太平兴国四年（979年），辽乾亨元年四月攻灭北汉之后，欲乘战胜北汉的余威，直取燕京地区，建立不世功业，威镇天下。但宋军诸将大多认为将士疲惫、粮饷不继而表示反对，但宋太宗不为所动，指挥宋军围攻燕京城。燕京作为辽朝南面门户和与宋朝抗衡的战略重镇，当然不能轻言放弃。辽南京留守韩德让率众死守待援，辽南院大王耶律斜轸、惕隐（辽朝管理皇族事务的长官）耶律休哥统领精兵火速增援。面对如此强敌，轻率北征的宋军既缺少充分准备，也没有对此作出相应的军事部署，反而有违军事常理，屯重兵于坚城之下。围攻幽州城一月有余，却始终未能攻下，造成师老士疲，被辽军在高粱河一战击溃，死者万余人，丧失军械不计其数。踌躇满志的宋太宗仅以身免，但其大腿上还中了两箭，在涿州乘驴车连夜南逃。此后，宋太宗每年箭伤都要复发，最终因此而死，成为宋朝帝王心中难言之痛。数年后，宋太宗再次命三路大军大规模北征，依然未能得手，且宋军被契丹军队打得大败，损失惨重，使宋太宗锐气尽失，从此不敢北向争锋，而对辽朝采取守势，专力加强国内的统治。宋太祖、宋太宗欲收复燕云地区的宏图，经这两次惨败，终于化为泡影。
由于宋朝终于未能收复燕云地区，关上中原之北大门，使得北宋人始终处于北方骑兵的威胁之下，此后宋徽宗与女真结盟灭辽，也主要是为了夺取燕云十六州，结果适得其反，北宋随后即被金兵所灭。为此，历代都有人批判宋太祖“先南后北”的统一方略和迟迟不发兵收复燕云地区的做法。如清代诗人查慎行还作诗严厉批评宋太祖登基后不思进取，无意收复失地、开拓疆土，以致燕云十六州终于无法收复。其诗云：“隔河便是辽家地，乡社枌榆委边鄙。当时已少廓清功，莫怪孱孩主和议。君不见蛇发鹿死开西京，丰、沛归来燕、代平。至今芒砀连云气，不似萧萧夹马营。”此类说法传布颇广，究其实却是不清史实的书生之见，皮相之论，不值多论。
在有关宋太祖收复燕京这一问题上，还有一个流传颇广且似是而非的说法，说当时宋太祖曾拿出一张燕云地区形势图，同赵普商议。赵普一见地图，便说：“此图必为曹翰所作。”宋太祖问赵普这样说的原因，赵普答：“如今朝中将帅才谋，无出曹翰之右者。若非曹翰，无人能为此图。”宋太祖认可了赵普的说法，并问曹翰此一谋略如何，赵普说：“观此图，若遣曹翰取幽州，必可得。然而既得幽州，又派何人守城？”宋太祖回答：“曹翰。”赵普再问：“曹翰之后为谁？”宋太祖默然良久，收图不提。明末清初思想家王夫之便据此记载，把赵普骂得狗血喷头。确实，战略地位重要且城高池深的燕京城，在冷兵器时代，一定是易守难攻，哪有攻取之后却无人能守之理？而且从宋太宗太平兴国四年进攻燕京失败的情况来看，宋军并无攻克燕京之把握，赵普所言实在过于轻率了，难怪遭致王夫之的一顿臭骂。然而赵普在此却是枉担骂名，因为这则记载根本就不是事实。这是北宋中后期，有人为反对宋神宗、王安石收复燕云失地的努力，故意编造了这则记载，用被宋人视为“圣君”、“明相”的宋太祖、赵普的言行，来表明宋军没有夺取燕云的能力，就是侥幸夺取了燕云地区，也无人能守住。不料这则谎言却被后人视为实录，而广为流传，实在有些厚诬前贤，故在此略为做一些辩白。
赵普历经宋太祖、宋太宗两朝，其间两次被罢相，又三次复相，人生经历不可谓不丰富，最后致仕而终。作为开国功臣，赵普的命运也算圆满了。