汉武帝把窦太皇太后安葬在霸陵，和文帝合葬在一起。并按窦太皇太后的遗诏，把东宫中所有的金钱财物都赐给了馆陶长公主刘嫖。他处理完这一切之后，他要大展鸿图了。
武帝上台来第一个要对付的就是北面危险的强敌——匈奴。武帝在小的时候就感到匈奴的潜在威胁，暗下决心，长大之后解决这个困扰汉帝国七十余年的强劲对手。上台之后，他一改以往对匈奴的妥协和亲，采取了急风暴雨般的凌厉攻势，以武力换来了北部边疆的安宁，成为汉代解决匈奴问题最有成效的帝王。匈奴经过汉武帝的几次打击，很快地衰落下去，但他们没有彻底改变侵略品性。汉与匈奴之间的冲突与和平，是一个长期而又复杂的问题。
匈奴是我国北方的一个古老的游牧民族，大约在战国中期，匈奴已经迁居到长城以北。匈奴人擅长骑马射箭，民风剽悍，在秦朝末年，头曼单于开始统一各部落，建立政权，进入了奴隶制社会。头曼单于建立了刑法和监狱。他总是四处掠夺，发动战争。他下令战争俘虏尽归获者所有，战俘变成了自己的奴婢，所以作战时，匈奴士兵人人争先，残酷凶悍。头曼单于成了一个富有侵略性、掠夺性的、野蛮的奴隶制军事贵族统治集团的头子。
头曼单于把匈奴的国家统治机构按军事系统进行编制，在手下设置了左右贤王，左右谷蠡王，左右大将，左右大都尉，左右大当户，左右骨都侯，共二十四个长，大的率数万骑，小的领数千骑，都是单于的直接臣属，单于意即伟大的天子，是匈奴的最高统治者的尊号，他的统治中心在阴山下的头曼城（今内蒙古包头市附近）。
汉初的和亲政策，是汉朝和匈奴力量对比处于不平衡的状态下，汉朝实行的一种妥协政策。汉朝因为刚刚建国，国力空虚，所以不得不委曲求全，以求得北方暂时的平静，目的是维护其新生的政权。
汉初一直到文景时期，共有六七十年的时间，这时的汉帝国正处于恢复时期，国力虽逐步强大，但无为而治的黄老思想又推迟了匈奴问题的解决。匈奴得到汉王朝大量的财物后，仍不满足，总是弯弓勒马威胁着南方的富邻——汉帝国。
由于汉初六七十年的休养生息，到文景时期，汉朝的国力得到恢复，为大规模战争提供了雄厚的物质条件。汉武帝在对匈奴关系上，逐步摆脱了前几位皇帝时的被动局面，在两者关系往何处去这个问题上取得了主动权。他根据匈奴上层集团多次政策变动，相应地做出了反应。汉武帝逐步地从汉初的和亲政策转向了大规模的自卫反击和军事惩罚相结合的战争政策。
汉武帝刚刚即位为皇帝的几年里，对匈奴的背信弃义、违约犯边的作法投去了关注的目光。当时匈奴单于是冒顿的孙子军臣单于，他继承了其父老上单于和其祖冒顿单于贪婪的本性，加重了对汉朝北部的侵扰。
汉武帝并没有因此做出强硬的反应，主要是以武力抗争的条件并不成熟。当时汉景帝刚刚驾崩，国内尚待稳定，汉武帝需要有个过程来熟悉军政大事，而且黄老无为的思想还占据着大多数统治者的脑子。他们不愿因为战争而使国家穷敝，因此主和的呼声在大臣们中间响成一片，没有人支持汉武帝反击匈奴。汉武帝虽有心以武力来换取北部的和平，但是他刚即位不久，权力并没有真正高度集中到他的手里，他受到了来自宫中和朝廷上不同程度的制约和束缚。
汉武帝还清楚地看到，尽管有匈奴侵扰中原，但匈奴贵族贪心汉王朝的财物，还维持汉匈和亲，经常来往长城下，进行边境贸易。鉴于这种形势，汉武帝暂时没有、也没有办法改变传统的和亲政策，而是顺应时代大潮，重新申明原定的约法，发展两国间的关市贸易，增加往匈奴方面供应财物，以求得边境的暂时安宁。
公元前134年，军臣单于派使者到长安求见汉武帝，要求和亲。
要不要和亲，让汉武帝头痛了好几天，匈奴使者等得都有些不耐烦了。汉武帝决定召集群臣廷议此事。未央宫中，群臣面红耳赤，为各自的见解竭力辩护。汉武帝听了半天，这才分辨出大臣们分为针锋相对的两大阵营：主战的以大行王恢为代表，主和的是御史大夫韩安国领队。
汉武帝是有心反击匈奴的，但他心里也没有把握，只好根据大多数人的意见，决定与匈奴和亲，把一个民间的女子装扮成公主，嫁给匈奴单于，让两国继续进行贸易，互通有无。
第一次和战辩论以主和派的胜利而告终，但同时，主战派也开始在政坛上崭露头角，对于传统和亲政策也是一个动摇。
战争终于爆发了。
这是一场大规模的正面冲突，一方是抗击匈奴的汉朝军队；另一方则是侵略成性的匈奴武装。
元光六年（公元前129年）冬天，匈奴统治者发动了一次大规模的入侵中原战争。匈奴兵一路烧杀抢掠，长驱直入。匈奴骑兵的先头部队都攻到了上谷（今山西省北部地区）地区。
边关报急的警报雪片般地向长安城中飞过来。中原北部烽火连天，狼烟四起。汉武帝此时已经二十八岁，考虑事情也比较成熟了。他一直为没有机会北伐而懊丧。这次接到边关的警报，马上做出了强硬的反应。他召集高级将领开会，下令立即予以反击。如果说马邑之围是汉武帝第一次对匈奴用兵，那么这次反击则是五年之后，汉武帝发起的第二次对匈奴军队的用兵。
汉武帝在派兵前作了周密的部署。他用人不疑，派出的四名将领中，李广是个老资格的将军，而卫青则是个初出茅庐的小字辈。汉武帝把四万汉军分成四路，每路大约一万人马左右。汉武帝派卫青从上谷出发，封为车骑将军，正面攻击匈奴。公孙贺被封为轻车将军，带领一路人马从云中（今山西西北长城南、河套东北）出发；公孙敖为骠骑将军，带领一路人马从代郡出发；李广被封为骁骑将军，带领一路人马从雁门出发，后三路人马作为卫青的策应。
汉武帝怕这次用兵吃亏，所以只允许这四路人马在关市（汉朝和匈奴交易的场所）附近寻找机会歼敌立功。汉武帝采取这种兵分四路的办法，战略是分进突袭，力求在不深入敌境的情况下，在边境附近给予入侵者以有力的打击。分进突袭，目的是想使匈奴人左右难顾，而且又提高了部队的推进速度。但军臣单于采用了各个击破的力法，从而打破了汉武帝的美梦。
军臣单于探听到汉武帝派出了四个将军分兵四路北上，就根据汉军的推进线路重新布置了人马。匈奴人最怕的是李广。四个汉军将领中，李广是资格最老，本领最大而能征善战的将军。
李广是陇西成纪人。他的前辈是秦朝的名将李信。李广家里都是行伍出身，射箭的技艺一代代地传了下来，而李广却是其中箭术最高超的。
汉文帝在位时，李广曾随军北击匈奴。因为箭法高超，射杀匈奴骑兵数十人，被封为郎官并侍从在文帝左右。他又时常随汉文帝一同外出打猎，多次格杀猛兽。汉文帝曾对他说：“可惜你生不逢时，要是你生活在高皇帝打江山的时候，封你做个万户侯是没有什么问题的，可以光宗耀祖了。”
在汉景帝朝中，李广跟随太尉周亚夫平定七国之乱，立有战功，但因为梁王私下里给了李广将军印，所以汉景帝就没有重赏他。汉景帝认为李广是员勇将，就派他到上谷地区当太守。他仗着一身武艺，多次与匈奴人交战。汉景帝怕他太鲁莽，白白地丧命，就调他到上郡做太守。后来他又当过雁门太守、代郡太守和云中太守。李广一直在北方边郡担任太守，骁勇善战，在匈奴那边也出了名。
这时汉武帝吩咐李广带领一万兵马从雁门出发北逐匈奴。军臣单于就相应地做了安排。他知道四个将军中最难对付的就是李广了。他就把大部分兵力集中到雁门这一带的阻击上。并在雁门北部用重兵设置了一个大伏击圈，准备用来活捉李广，好收降他。
李广从雁门北上，每战必胜，一时杀得性起，领着手下人向北急速推进。他哪里知道这是军臣单于的诈败之计，目的是引诱他进入包围圈。李广只顾向前猛冲，不想在雁门北遭到了匈奴的伏击。李广脱围不成，又被匈奴兵射伤。团团围上来的匈奴兵生擒活捉了失去抵抗能力的李广。
匈奴兵见捉了李广，很是高兴，他们看见李广受了伤，就用绳子结成一个网，吊在两匹马中间，让李广躺在上面，他们准备去向军臣单于献功、请赏。
这些匈奴兵打了胜仗，心中高兴，一路谈笑风生。李广在吊网上纹丝不动，假装昏死过去。匈奴兵走着走着，警惕性也就很快地全放松了。
李广在吊网上估算着这些人已经走了有几十里地，就偷偷地睁开眼，看见刺眼的阳光勾勒出一匹骏马的头影，李广知道这是一匹善跑的好马。他使劲从吊网上跳起来，飞身骑上那匹骏马，抱住了马上的匈奴兵。别的骑兵都惊呆了。李广夺过他怀抱中那个匈奴骑兵的弓和箭，把他推下马去，调转马头，拼命往回跑。其他匈奴兵半晌才反应过来，他们也一齐勒转马头，在后面猛追不舍，疾驰的马蹄在荒原上扬起滚滚的烟尘。
李广回头看匈奴兵快要追上来了，他一面使劲打马疾驰，一面弯弓搭箭，匈奴的追兵跑在最前面的几个都应弦落马。匈奴骑兵只好放慢速度，眼睁睁地看着李广越跑越远。
公孙敖领一万人马从代郡出发，也遇上了匈奴一支主力骑兵。公孙敖的部下被匈奴兵大杀一阵，死伤七千多人，几乎全军覆没，幸好他逃得快，领着残兵败将总算逃回来了。公孙贺从云中出发，一路上连个匈奴兵的影子也未见到，他还想在附近找到匈奴兵决战。后来得到消息说雁门和代郡的两路兵马吃了败仗，公孙贺心中发慌，害怕匈奴兵再回兵来围攻自己，所以不敢总在原处等候，只好下令班师回朝。只有上谷的那一路卫青的军队，一直攻击到笼城。匈奴兵大部分调往雁门攻击李广去了，所以后防空虚，在笼城守卫的仅有几千人。卫青领一万人马，以多攻少，占了便宜，他打了胜仗，所杀和俘获七百多人。一看别的将军撤退的撤退，战败的战败，不敢孤军留在敌后，马上也领兵撤回。
汉武帝按这次出兵的功和罪进行赏罚。因为只有卫子夫的兄弟卫青打了胜仗，所以汉武帝格外地赏赐他，封卫青为关内侯。公孙贺总算没有损失人马，被封为南窍侯。公孙敖和李广损兵折将，大败而回，本当斩首，准许他们赎为庶人。公孙敖和李广交了钱从狱中放出又做起了平民。对其他不服从指挥、弃军逃回的校尉和违反规定的军吏，则依军法严肃处理。
汉武帝的第二次反击，虽说从战局全盘看失败了，但损失不大。汉武帝从中发现汉军校尉和将领之间配合不好，而且中下层军吏中有许多人有违反军令的现象。汉武帝就想通过赏罚来调动士气，并对军风军纪进行了整顿。这次反击为汉武帝提供了许多治军的经验。
卫青虽是奴仆出身，然而精于骑马射箭，勇敢超过常人，指挥有方。卫青对于上下的官员都十分谦恭，对手下的士卒也格外地恩遇。众人都乐于为他效命，称赞他有大将的气度和才能。汉武帝把卫青从奴仆一层层地提拔上来，天下人也因此佩服汉武帝慧眼识才，能够破格用人。
秋天，边关告急文书又奏到案前。匈奴人肥马壮，就想报复一箭之仇，南下侵犯汉朝边境。军臣单于派两万多人马打进汉境，攻杀辽西太守，掳走两千多人。转过马头，又围攻渔阳，渔阳太守被匈奴兵击败，匈奴兵在渔阳把将军韩安国团团围住。韩安国打了败仗，逃到右北平，守在那儿。过了几个月，他病死了。匈奴军队连连告捷，又举兵入侵雁门，杀掠汉朝一千多人口。面对这种情况，汉武帝再也捺不住性子了，他决定坚决反击。
汉武帝为了找人代替韩安国的位置，就想到了闲居在家的李广。李广自从被赎为平民之后，回到家中，打猎喝酒，日子过得倒也逍遥自在。但他的心里一直挂念北方的战局。汉武帝召用他的诏书一到，李广马上收拾行装，到右北平担任太守一职，接管韩安国曾经带领的部队。
汉武帝除了派李广代替韩安国镇守右北平之外，还把卫青派到北方。
卫青率领三万人的大军从雁门出发，将军李息也带领一支骑兵由代郡北上，与卫青的部队互相呼应。汉武帝吸取了原来分兵太多，各部兵力不足，易被各个击破的教训，加强了这两路的兵力。由于这两路军队的力量比较集中，因而具有较强的突破能力。这两支军队迅猛地向北推进，每战告捷，共歼灭匈奴数千人。卫青又立战功，更加得到汉武帝的宠信。
卫青和李息得胜还朝没几天，汉武帝又让他们再登征途。这已是元朔二年（公元前127年）的春天了，匈奴兵再次攻入上谷和渔阳地区，杀掠吏民一千多人，骚扰不断。汉武帝马上让卫青和李息重整战袍，发动了第四次反击。
次入侵的匈奴集中攻击汉朝东北部的边郡渔阳和上谷。匈奴人集中优势兵力想给救援的汉军以迎头痛击。卫青就作出伪装，让部队向东北方向推进。到了北部时，兵锋却突然西指，挥兵长驱直入攻击匈奴西部没有防御准备的高阙（今内蒙古阴山西长城口）和陇西，匈奴在东部，遇到了汉朝渔阳郡和上谷郡两地军吏的顽强抵抗，主力都集中攻击这两个地区，而匈奴人决没有料到汉朝会不解渔阳和上谷之围，反而扑向他们西部防御空虚地带，一时惊得天旋地转。
卫青和李息领兵直捣高阙，以优势的兵力打得匈奴人大败而逃。汉兵又沿黄河南下陇西（今甘肃临洮南），由北向南迂回地攻击寄牧于河南地（今内蒙古河套以南）的匈奴。匈奴人没有想到汉军会从北面杀过来，大败溃散。卫青和李息挥兵一顿砍杀，匈奴兵死伤五千余人。
河南地的匈奴楼烦王和白羊王一看形势不妙，只好慌慌张张带着少数心腹士兵弃地而逃，匈奴人畜养的百万多头牛羊全部落到了汉军手里。
河南地原先在秦朝时，由蒙恬将兵三十万从匈奴手中血战夺得。后来秦末农民战争爆发，秦王朝的统治摇摇欲坠，而且抗击匈奴的名将蒙恬也被胡亥和赵高设计害死。匈奴人趁着中原地区乱成一团的时候，派兵轻取河南地，赶跑了秦朝的戍卒。这之后，匈奴经营河南地已有八十多年，直到汉武帝才又从匈奴手中夺回这个地方。
河南地是中原和匈奴两大对手必争的一块战略要地。河南地距汉朝都城长安不过数百里的路程。匈奴骑兵只用一两天的时间便可以从河南地赶到长安城下。所以匈奴把河南地作为向中原进攻的桥头堡。而对汉朝来说，匈奴占有河南地就等于在汉朝头上悬挂了一把利刃，汉廷随时有刀临脖颈的危险。河南地的收复，解除了匈奴对长安的威胁，扭转了汉朝对匈奴战争中的被动的军事态势。汉朝占有了河南地，等于往匈奴的胸膛中插进一把钢刀，河南地成了汉朝军队进攻匈奴的一个最好的军事基地。因此，汉朝收复河南地，是一次有政治意义和军事意义的胜利。这次胜利大大振奋了汉朝的士气和君臣抗击外侵的信心。
汉武帝这次出击获得了很大胜利，除杀死不少匈奴兵之外，还夺回了军事要地河南地，汉武帝按功行赏，封卫青为长平侯，食邑三千八百户。卫青部下校尉苏建被封为平陵侯，张次公为岸头侯。士兵们也得到犒劳和赏赐，军心大振。
这时候，郎中主父偃又给汉武帝献上一条计策，他对汉武帝说：“河南地一带土地肥沃，有黄河作为天然的水渠，是块膏腴之地。况且黄河天险阻止了匈奴的进攻，八五八书房秦朝的时候，蒙恬就曾在那里修造城墙，抵御匈奴。现在臣以为应该在这些地方重建新城，设立郡县。这是从根本上抗击匈奴、保卫边疆的重要措施。”
汉武帝也认为河南地的地理位置有利于防御匈奴，但在那么大一片地方兴建城池也是国家大事，这需要花费许多人力和物力。汉武帝决定召开廷议，讨论固边筑城之事。不想大臣们多数持反对意见，他们反问道：“这件事与秦始皇筑长城又有什么两样呢？不但劳民伤财，而且在那么偏远的地方筑城，又有谁愿意搬到那边去住呢？”
汉武帝并不讨厌秦始皇，他所做的事有些是秦始皇做过的。汉武帝为了抵抗匈奴，是不在乎人力和物力的。他赞成主父偃的意见，大臣们也没有谁敢再提反对意见了。
汉武帝派将军苏建征调十多万人民去建筑朔方城（今内蒙古黄河以南的鄂尔多斯），又征发关东地区的民夫，把黄河以南蒙恬时修建的所有要塞都加固修理一下。这次筑城固边，花去的金钱以亿计，汉朝的府库也空了。崤山以东的百姓每十万人一批轮流去服劳役，一座座城堡在边境上夯实筑成，河南地的防守能力比以前有很大提高。
汉武帝在北方防御问题上系统考虑了一段时间，他除了在河南地筑城防守之外，把东部上谷郡里伸到匈奴界中去的一块土地放弃给了匈奴。因为上谷郡斗辟县造阳以北的地方九百里凸到匈奴境内，无险可守，派出防守的士兵经常遭到匈奴的突然袭击，而汉朝又不能及时派出援军救助。为了这小块地方，汉朝付出了沉重的代价。汉武帝把这小块地方放弃给匈奴也是为了防守的方便。这说明汉武帝对北方边防已经进行全面系统的研究和安排。
北方经过这次整顿，的确加强了防御匈奴攻击的能力。但这里除了戍卒之外，少有人烟，而且军粮得全部从内部调运。为了以民养兵，解决国家负担，汉武帝下令进行大规模的移民实边活动。汉武帝移民十万人充实到朔方郡。这大量的移民不但加强了边防，而且也部分地解决了没有土地的农民的生活。
大规模的移民使荒凉的河南地又充满了生气。土地被开垦出来，原先的牧场又得到了充分的利用。河套地区有黄河灌溉的便利条件，土地肥沃，经过汉朝军民的共同开发，成为塞北的一颗明珠。汉武帝为了便于管理河南地，就在原来秦朝九原郡的基础上，改名为五原郡，治所在九原（今包头市西北）。河南地又正式地回到中央政权的怀抱之中，又重新得到了开发。
朔五年（公元前124年）的春天，汉武帝下令第五次对匈奴用兵。汉军踏上刚刚吐绿的草地，再次开始了新的征程。
这次用兵，规模很大，并且开始由国内的防御转变为在匈奴境内追击匈奴。汉武帝下令卫青率领三万骑兵从河南地北边的高阙出发，作为这次出兵的统帅。卫尉苏建被拜为游击将军，左内史李沮为强弩将军，太仆公孙贺为骑将军，代地相李蔡为轻车将军，各领一部人马，他们一齐从朔方城出发。另外东部一路由大行李息、岸头侯张次公为将军从右北平一带一起北上。
车骑将军卫青统帅六个将军和十多万人马大举进入匈奴境内。他们东西线同时出击，但重点是在西线，东线只是起牵制和策应的作用。
匈奴右贤王刚从河南地大掠一番返回，正在帐中饮酒作乐，回味这次入侵的收获。他手下报告说汉武帝已经派卫青又率大队人马要找他报复，心中一惊。但他又想此地距汉境一千多里，估计卫青集结好军队再走这么远的路，得需要几天的时间，右贤王就决定就地休息，明天再往北转移也不迟。
可是右贤王打错了算盘，卫青集结军队速度很快，而且又是从凸出到匈奴境中的河南地起兵，实际距右贤王居住地仅有六七百里。卫青挥兵北进，在日落前把右贤王的居住地团团围住。
手下人的报告把右贤王的酒吓醒了，他听说汉军忽然包围上来，不由得惊恐万状。他慌慌张张地备鞍上马，带着一个心爱的小老婆和几百名心腹骑兵乘着夜色突围逃跑。卫青听到报告，马上派轻骑校尉郭成等人猛追不舍。由于右贤王熟悉地形，所以在郭成等人追了几百里地时，终于被右贤王甩掉了。郭成只好空手而回。而汉军在包围圈内却收获不小。汉军镇压了匈奴兵的顽强抵抗，活捉右贤王手下的副王十多人。同时被俘获的还有一万五千多人和近百万头牲畜。
卫青下令班师回朝，胜利的消息早就由人飞快地报告到汉武帝那里去了。汉武帝见又取得了一个大胜利，欣喜若狂。他马上叫过一个使者吩咐了几句。
卫青的军队喜气洋洋地返回边塞。在塞上站满了欢迎的军民。卫青刚到塞下就看到汉武帝派出的使者恭立在城门前，使者手捧着一封大印，对卫青说：“皇上令臣持大将军印，即在军中拜为大将军。”卫青拜谢接过大将军印。将士们一片欢呼。属将们将军队交归大将军管辖，汉军吹得胜号返朝。
汉武帝再次奖励这次出击的有功人员。他对臣下说：“大将军卫青亲自率领士卒，出师大捷，擒获匈奴副王十余人，立下汗马功劳，朕决定再加封卫青八千七百户。”汉武帝觉得卫青屡立战功，就别出心裁要封卫青的三个儿子为侯，他下令封卫青的大儿子卫伉为宜春侯，另两个儿子卫不疑和卫登分别被封为阴安侯和发干侯。汉代时从汉高祖那传下来的规矩；非功臣不得封侯。而汉武帝却把卫青的三个儿子一齐封侯，尚属史无前例，可见汉武帝对卫青的战绩太满意了。
大将军卫青见到汉武帝时再三谦让说：“臣有幸得在汉家军队里，依靠陛下的神威才使军队取得了胜利，这也是将士们共同力战取得的功劳。陛下已经给了臣很高的封赏和荣誉，又增封臣的三个儿子为侯。可是犬子小的尚在襁褓之中，没能为陛下立下一点功劳，陛下却裂地分封他们为侯，这不是臣在军队里勉励将士们奋力拼杀的本意。犬子卫伉等三人又怎敢受封呢？”
汉武帝坚持原议，他对卫青说：“朕并不是忘了将士们的功劳，现在正在安排他们的封赏呢。”把卫青劝了回去。
汉武帝除了重赏大将军卫青之外，又下诏给御史，对其他有功人员进行封赏，他说：“护军都尉公孙敖三次随从大将军卫青出击匈奴，总护诸军，擒获匈奴副王，战斗有功，因此封公孙敖为合骑侯：都尉韩沉跟从大将军北出置浑关塞，包围匈奴右贤王的王庭，指挥部下擒获匈奴副王，故封韩沉为龙额侯。骑将军公孙贺和轻车将军李蔡都因擒获匈奴副王有功，分别封为南印侯和乐安侯。”
汉武帝除了重赏高级将领之外，对于领军的中级军官也给予赏赐，封校尉李朔为陟轵侯，赵不虞为随成侯，公孙戎奴为从平侯。将军李沮、李息以及校尉豆如意、中郎将绾等都因功赐爵关内侯，李沮、李息和豆如意分别赐给食邑三百户。御史大夫奉旨逐一封赏有功劳的将领，连士兵也不例外。
经过多年战争，西汉边境的威胁逐步消除。匈奴自此十年之内不敢南下牧马，漠南无王庭，汉朝基本上解除了匈奴人的威胁，这是和汉武帝识才用才，任用卫青和霍去病两员名将是分不开的。