赵普希望赵匡胤能开创汉唐那样的辉煌帝国，而不是之前五个短命王朝的翻版。前面的五个王朝全部加起来仅延续了短短的53年，这期间竟然换了14个皇帝，还抵不上汉武帝一个人当皇帝的时间，与此同时还有十余个分裂的政权与中原王朝同时存在。
宋太祖虽然承袭了后周统治疆域，但其号令所至，不出中原黄河、淮河流域一带，举目四望，皆他人邦国，使其一统天下的理想与尴尬的客观现实颇不相合。能否结束中国四分五裂的局面，大大关系着赵宋王朝的前途和长治久安。建隆元年（960年）八月，刚镇压了起兵反抗的藩镇李筠之乱，宋太祖就想乘胜率军进攻北汉，开始统一天下的战争。为此，宋太祖私下向武胜节度使张永德征求意见，但张永德认为：“北汉虽兵少而强悍，加上有契丹为外援，未可仓猝取也。臣愚以为每年多设游兵，骚扰其农事，并用间谍离间其与契丹之关系，断绝其外援，然后可图也。”宋太祖听后称善，随即李重进又在扬州起兵，首征北汉的计划遂被搁了下来。
待到消灭了当时藩镇中力量最强的李筠、李重进两大势力，宋朝内部政局已基本稳定，于是宋太祖开始着手统一战争的准备。据史书记载，当时就“一天下之策”，宋太祖与心腹大臣赵普之间发生了以下一段著名的对话。
在一个大雪纷飞的冬夜，宋太祖忽然微服出宫，来到赵普家里，围着火炉烤肉，赵普的夫人和氏把盏斟酒。酒过三巡，赵普从容问道：“天寒夜深，陛下为何还要外出？”
宋太祖回答：“我睡不着觉，因为一榻之外，皆他人家也，故特来见卿。”
赵普又问：“陛下是否感觉天下过于狭小？南征北伐，现今正是好时机，不知陛下如何筹划？”
宋太祖道：“吾欲先收复太原（北汉国都，此代指北汉）。”
赵普听后默然不语，过了许久才说道：“此非臣所知也。”
宋太祖便询问他不赞同的原因，赵普陈词说：“北汉地处西、北两边，即使可一举而下，则契丹与西北藩部之患，我当独力承当。何不等到削平南方诸国之后再北攻，这弹丸之地，将何所逃遁？”
宋太祖大笑：“吾之意正如此，姑且试探卿之意而已。”
这就是历史上著名的“雪夜定策”故事。对宋太祖他们决定采用这一统一战略的原因，及其具体步骤，这一段对话中并未明示，但《东都事略》所记载宋太祖对赵光义的一段话，正好回答了这问题。宋太祖说道：
中国自五代以来，兵连祸结，仓廪虚竭。必先取西川（指后蜀），次及荆湖（指荆南高保勖、湖南周行逢）、广南（指南汉）、江南（指南唐），则国家财用富饶矣。今日之劲敌，只有契丹，自后晋开运年间以后，其更轻视中国（指中原政权）。河东（指北汉）与契丹接壤，如若攻取之，则我将独当来自契丹之边患。姑且先让其存在，为我作屏障，待我富实之后则取之。
这一先消灭南方各个割据势力，然后消灭北汉的统一战略方针，即被后人归纳为“先南后北”、“先易后难”的方略，实是后周大臣王朴为周世宗确定的“先南后北”统一方针的翻版。当然，宋太祖在此基础上根据当时实际情况作了修订和完善。王朴的方略是先取江南，次下广南、西川，南方既定，再移师攻取契丹燕云地区，最后以强大的兵力制服北汉。而宋太祖和赵普的方略却是先取西川，次下荆湖、广南、江南诸国，然后再用兵北上攻击北汉。这个统一天下的步骤，与周世宗在攻占淮南以后即刻北上征伐契丹，收复燕云失地的做法颇为不同。同时，在宋太祖与赵普的对话和宋太祖对赵光义所说的话中，都未提及契丹，这并不是他们有意不提，更非不欲收复燕云十六州失地，而是在仔细分析了宋、辽两国政治、经济情况以及双方军事实力对比基础上做出的一个重大变动。这里举两例以证明宋太祖从未曾忘怀燕云失地。如《渑水燕谈录》称宋太祖曾为攻取燕云而大量储藏财物，以作为出征之用度。而《宋会要辑稿》中也说在宋太祖逝世的那一年，臣下上皇帝尊号称“广天应运统太平圣文神武明道至德仁孝皇帝”，但宋太祖认为太原未荡平，燕云未收复，不想称“一统太平”，故未答应。可见宋太祖是想在平定北汉之后再全力收复燕云失地，故此时只是暂时未提而已。
对宋太祖这一一统天下之方略，后世不少学者认为是宋朝最终不能从契丹手中收复燕云地区的主要原因，而大加批评，其说以清初学者王夫之和全祖望为代表，因在今世还颇有影响，故于此稍加分析。
据现有史料，最初对宋太祖这一方略提出非议的是在北宋的真宗时期。此前宋太宗两次大举进攻辽国，但都在幽州城下铩羽而归，宋太宗本人甚至在溃逃时腿中箭伤，后来伤发而死，而宋真宗也被迫在辽人订立了城下之盟———“澶渊之盟”。所以宋真宗对周世宗、宋太祖、宋太宗诸位中原皇帝皆未能收复燕云失地，关上河北平原的北大门，致使自己面临如此尴尬境地，心中滋味颇难言说。如宋真宗曾对侍臣说道：周世宗“智勇英武，当时亲征，下赢、莫二州，非遇疾班师，则克服燕云矣”。稍后的陶岳于《五代史补》中也说当时契丹皇帝辽穆宗昏庸，闻听周世宗将北攻燕云，“君臣恐惧”，在幽州的契丹官员纷纷连夜遁去。欧阳修《新五代史》中也有周世宗“乘其胜威，击其昏殆”，惜其“遇疾，功志不就”的语句。但他们还不敢明言开国圣主宋太祖之失误，只能借周世宗之事来浇胸中块垒。后来女真人以其所占据的燕云地区为基地发兵南下，一举灭亡了北宋王朝。至南宋时，便有人对宋太祖和赵普的这统一方略提出众多非议，其中尤以南宋大诗人陆游的说法为典型：“周世宗之谋，诚奇谋也。先取淮南，去腹心之患：不乘胜取江南、后蜀、荆湖、广南，而举胜兵以取燕京（即幽州），使燕京遂平，四方何足定哉！刚得三关遇疾归，则是天意也。其后中国（此指宋朝）先取后蜀、南汉、江南、吴越、北汉，最后取燕京，则兵已弊于四方，而幽州之功终于不战。故虽得诸国而中国之势终弱，然后知周世宗之谋为善也。”此后到明朝末年，满洲八旗兵再次自山海关攻占燕云地区，然后席卷天下。当时学者如王夫之等人痛定思痛，对宋太祖、赵普君臣商议决定的“先南后北”统一方略大加攻讦，这实在是苛求于古人了。因为他们只看到周世宗收复三关之地势如破竹，辽穆宗荒淫无道，辽国实力有所下降，但却昧于对宋方实力不足的了解。
在经济上，中原地区自中唐以来长时期处于战争状况之下，生产力遭到严重破坏，经济凋敝，虽然后周政府为恢复中原经济做出了很大的努力，但周世宗在其统治的五六年间，五次发兵亲征，其他小规模的作战不断，对国家财政的压力甚重，所以也未给宋朝留下多少财富，实不足以支持宋太祖打一场旷日持久的收复失土的战争。而南方诸国的国力相对比较弱小，其中国力较强的南唐、后蜀等政权因政治腐败，加上在后周时期皆遭受了后周军队沉重打击，军力大损，只图自保，便于宋朝集中兵力各个击破；同时江南、四川、吴越等地区因多年未遭兵乱，经济上远较中原富庶。因此宋朝如能首先集中优势兵力去统一经济富庶的南方诸国，以增强自己的国力，再发兵北征北汉，然后从河北、河东兵分东、西两路北攻辽国，则收复燕云地区的把握大为增加。
在军事上，周世宗一举收复了三关要地，与后周军队经过整军之后战斗力提高有着很大关系，但辽国在当地未布置重兵驻守，结果守军不战自败，闻风而降，恐怕更是一个不可忽视的原因。因而要攻夺城高池深、易守难攻且有重兵把守的燕京城，自然就不那么容易了。因此，当周世宗欲乘胜进攻燕京时，诸将纷纷提出异议，认为“敌军皆聚集燕京之北，不宜深入”，这并非如周世宗所恼怒的是诸将“怯战”心理作怪，而是那些老于战阵的宿将实在未能见到可胜之机，当时宋太祖就在周世宗的左右，对此应该十分清楚。至此，宋军实力经宋太祖大加整顿后确实有所提高，但与周世宗时期相比，应无本质的跃升。与国贫兵弱的北汉军交战中，宋军虽取得了战场上的主动权，但还是互有胜负，而辽军的实力无疑要在北汉军队之上。因此，宋军在兵力等方面与辽国相比也并无优势可言，更无必胜把握。因此，宋太祖决定先统一南方诸国后，再引军北上收复燕云地区，应该说是一个知己知彼的明智决策。
当时，身受长期战乱之苦的百姓都强烈希望结束割据、完成统一大业，而各割据小国也感受到这种诸侯纷争的局势已不可能再维持下去了。据《续资治通鉴长编》记载，当时荆南之臣孙光宪对其主高继冲说道：“观看中原自周世宗时已有一统天下之志。宋朝受命立国，凡所措施经营者，其规模更为宏远。”劝说主上“不若早以疆土归朝廷，则荆南百姓可免祸，主公亦不失富贵”。高继冲深以为然。而后蜀宰相也对后蜀主称：“臣观宋朝启运立国，不类似后汉、后周。天意厌乱已久矣，一统海内，就在此时乎？”南汉也有大臣告诉南汉主刘鋹道：“夫天下乱久矣，乱久必治。今闻真主已出，将尽有海内，其势非一统天下不能已。”这些记载，不无宋人自吹自擂的成分，但也可从中反映出统一已是大势所趋，不可逆转。而当时诸国，除宋朝外，皆没有统一天下之志或统一天下的实力，历史重任由此落在了赵宋王朝身上。
为能顺利实现“先南后北”的统一方略，宋太祖根据南北力量对比，向南取攻势，密切注视南方各国政治动向，积极寻找合适的突破口，以便逐个消灭各割据政权；而向北取守势，分派强将劲兵加强西北边境地区的防御，以免自己在专力经营南方上有后顾之忧。
宋太祖以李汉超屯驻关南（今河北雄县、徐水一带），马仁瑀驻扎瀛州（今河北河间），韩令坤镇守常山（今河北正定），贺惟忠屯守易州（今属河北），何继筠守卫橡州（今山东惠民），以防御契丹。
以郭进控扼西山（今河北石家庄西南一带），武守琪守卫晋州（今山西临汾），李谦溥戍守隰州（今山西隰县），李继勋驻守潞州（今山西长治），以防备北汉。
以赵赞屯兵延州（今陕西延寅），姚内斌（即当年赵匡胤随周世宗从征三关时招降的契丹守将）戍守庆州（今甘肃庆阳），董遵诲驻扎环州（今甘肃环县），王彦升（即在陈桥兵变中杀死韩通者）驻守原州（今甘肃镇原），冯继业驻守灵武（今属宁夏），以监视分布于西北地区的党项等藩族武装。
为让这些守边的众将帅能尽心竭力忠于职守，对武将制御极严的宋太祖又煞费苦心地给予了他们许多特权。首先，不同于在京及内地士卒实行屯戍法，沿边军兵都是久驻一地，亲戚子弟同在兵营，故守卫城邦即如守卫家乡，临阵不易溃败。而镇守边关的将领，也久于其任，有长达十多年的，虽也迁升官爵，但升其官而不易其任，使他们熟知边塞之事，并熟知麾下人马的长短之处，随机调用，而不至误事。
其次，宋太祖在收缴各地方镇的财权的同时，厚赏边关将士，还给予这些边帅很大的经济特权，即允许他们随意动用当地财政收入，让他们从事商品贸易，有些地区还特许其从事边关贸易，并免除其赋税，以便使他们拥有充裕的钱财“安边御众”，招募骁勇以为爪牙，奖励将士，收买间谍，刺探敌情，致使敌方动静皆在己方的掌握之中，若敌方有发兵南侵之事，即遭到宋军的迎击或伏击，使得宋太祖于全力经营南方之时，全无北顾之忧。
宋太祖为更好地驾驭这些边帅，又施展手段使他们对自己感恩戴德，忠心耿耿。如镇守环州的董遵诲，其父即五代时期的随州刺史董宗本，是宋太祖之父的故交，当年赵匡胤投奔董宗本，曾遭到董遵诲的羞辱。后周时，董遵诲又与韩通交好，成为赵匡胤的政敌。至此，赵匡胤坐上了龙椅，并召见董遵诲入京见驾。董宗诲大为惊骇，即欲自杀了事，却被其妻劝阻，只得硬着头皮来到开封，不敢穿官服，而身穿布衣来见天子。一到天子面前，惶恐不安的董遵诲便叩头请死，宋太祖并非小肚鸡肠之人，见董遵诲已服软，就大笑道：“既有今日，何必当初？然卿亦不要担心，现今正是用人之际，我今日赦汝之过，为我镇守方面。”当时董遵诲的部下推测宋太祖必不会放过他，就联名告发董遵诲，列有十多条罪状。宋太祖就将此告发之事对董遵诲说了，但并未追究，反任命他戍守环州，委以重任，允许他自选幕僚，挑选精兵；并设法把董遵诲的母亲从辽国统治下的幽州家乡接来中原，与儿子相会。董遵诲自然是十分感激，誓死效命。由此，董遵诲上任后，申严边地斥候，镇抚蕃部，号令如一，使得境内党项诸部“畏威惕息”，边民悦服。
此外，宋太祖还往往法外施恩，恩威并施，以笼络这些边帅之心。如关南巡检使李汉超，在防御辽军南侵方面做得可圈可点，但从五代时养成的鱼肉百姓的习性却未有政变，因此平日所作所为多有犯法犯禁之事。当时有两位其治下的百姓来到京城告御状，一称李汉超借贷钱财不还，一称李汉超强抢他的女儿为妾。宋太祖也风闻李汉超所做的诸多不法事，但因是用人之际，而且感到事态还不算太严重，故未加惩处。不过既然有人来告状了，便决定乘机训诫一下李汉超。宋太祖先将来人请入宫中，酒肉慰问，随后先问告发李汉超借贷钱财不还的人道：“自从李将军到关南后，契丹人是否还频频入侵抢掠？”那人回答：“一次也没有。”宋太祖便顺势说道：“往昔辽军入寇，边帅不能抵御，使河北各州民众每年都遭到抢掠烧杀，家破人亡者不可胜数。如在那时，汝能保住自己家财否？如今李将军借贷之钱财，与辽军抢劫相比何者更多？”此语也可算是强盗逻辑了，但平民百姓又怎敢顶撞，驳天子的面子，只得唯唯而退。于是宋太祖随即又问另一人有几个女儿，都嫁给了什么人，然后说道：“既然汝之女儿所嫁者皆为村野莽夫，而李将军乃是朕之爱将，因喜爱汝之女儿才娶她，嗣此必不会亏待汝女儿。与嫁给村夫相比，何者更为显贵耶？”在天子劝诱威胁并施的话语下，那人怎敢自讨没趣，只得回去了。但手段高明的宋太祖却随即派人告诫李汉超道：“汝要钱财，为何不告诉朕而向百姓借贷。如此糊涂事不许再干！”并赐给李汉超数百两银子，让他把所借贷的钱财给还了。既然天子都这样表态了，那李汉超心中纵有天大的不满，也只好向天子痛悔自己的荒谬行为，感谢天子的浩荡皇恩，而发誓以死来报答君恩。
当时镇守各地的将帅，如李汉超这样行事胡作非为者不少，在看到李汉超的“榜样”后，都大为收敛自己的行为。于是宋太祖既安抚了民心，也对这些边帅起到了应有的震慑。
除推心重用边帅外，宋太祖在巩固西、北边境方面，还针对不同对手采取不同的对策。时偏处西北的党项藩部，因这些割据势力在政治上依然对中原政权保持着名义上的臣属关系，所以宋太祖在命令诸将镇守西北诸州以为防备之外，又大力施展拉拢、利诱的睦邻政策，禁止边境诸州发兵进入藩部地区抢掠牛羊，开展与这些部族的边境榷场贸易，要求边帅悉心安抚，使藩部“安静”。这样，在确保西北边区的稳定的同时，争取到了一支盟军，从而在数次攻击北汉的战争中，都得其支持和出兵配合。对北汉方面，则采取积极防御之策，即不断让与北汉接壤的诸州发兵侵扰北汉境内，破坏其农耕生产，攻击其孤立少援的城寨，削弱其国力，从而迫使北汉军队龟缩于太原周围，不敢远出进扰宋境，破坏宋廷“先南后北”的统一方略。但是对于辽国的策略却又有不同，即命令河北边帅严守疆域，不主动攻击辽境，但如若辽军进入宋境抢掠，则发兵迎击，并也遣将进入辽境报复。就这样一来一往，维系着北方边境双方力量的微妙平衡，并迫使辽国最终接受了宋太祖的和约。
宋太祖就这样通过选任宿将，屯驻重兵，并采取不同之策对付辽、北汉诸政权，以稳固西、北两边之防务，从而有效保障了歼灭南方诸割据政权的战争的顺利展开。