过了不长时间，第二次反击失败的阴云被一件喜事冲得无影无踪。原来卫子夫给汉武帝生了个儿子，汉武帝虽后妃成群，但一直没能得到一个儿子。时年汉武帝已经二十九岁了，汉武帝因而为此事狂喜，把失败的事抛到九霄云外。母因子贵，卫子夫在生了三个女儿之后，终于为汉武帝生了第一个儿子。果然元朔元年（公元前128年）三月十三日，汉武帝册封卫子夫为皇后，赦免天下的罪犯。卫子夫终于得到了她梦寐以求的皇后宝座。
可是汉武帝没能高兴几天，边关告急文书又奏到案前。因为已经到了秋天，匈奴人肥马壮，就想报复一箭之仇，南下侵犯汉朝边境。军臣单于派两万多人马打进汉境，攻杀辽西太守，掳走两千多人。转过马头，又围攻渔阳，渔阳太守被匈奴兵击败，匈奴兵在渔阳把将军韩安国团团围住。韩安国打了败仗，逃到右北平，守在那儿。过了几个月，他病死了。匈奴军队连连告捷，又举兵入侵雁门，杀掠汉朝一千多人口。面对这种情况，汉武帝再也捺不住性子了，他决定坚决反击。
汉武帝为了找人代替韩安国的位置，就想到了闲居在家的李广。李广自从被赎为平民之后，回到家中，打猎喝酒，日子过得倒也逍遥自在。但他的心里一直挂念北方的战局。汉武帝召用他的诏书一到，李广马上收拾行装，到右北平担任太守一职，接管韩安国曾经带领的部队。
李广到了右北平，每天领兵巡逻边境，匈奴不敢进犯。匈奴因为李广行动快，箭法好，就送他一个十分好听的外号，叫“飞将军”。从此“飞将军”李广的美名留传后世。
李广在右北平太守任上，除了严密防守匈奴的入侵以外，也时常出去打猎散散心。右北平一带有老虎出没，时常出来伤害百姓。李广就把老虎当做狩猎的主要对象。只要老虎遇到他，没有一只能逃脱被射杀的命运。李广艺高人胆大，一定要等老虎走到近前时才会拉弓放箭，一般一箭就能结果老虎的性命。
有一天，李广晚上巡逻，天色昏暗无光，只有几点星光点缀在黑色的天幕上，此时正是老虎出来觅食的时间。李广一行人走到山脚，忽然看见草丛中伏着一只老虎。李广急忙抽弓搭箭，手下人还没有反应过来，李广已经把箭使劲地射了出去。他的箭法能百步穿杨，所以很轻松地射中了目标。他手下人看老虎中箭之后一动也不动，就跑过去捉这只大猎物。他们走近前一看，不禁大吃一惊，原来李广射中的是一块虎形的大石头。箭射入石头中很深，这些手下人谁也拔不出来。大家对于李广的神力感叹不已。
李广感到很奇怪，他退回到原来的地方，又射了一箭。那枝箭与石头相撞，进出了耀眼的火星，掉在旁边，仅在那块大石头上多凿了一个小洞。李广又连射了两箭，箭头都折了，都没再能射入到石头里去。其实不必再射，有那一箭就够了，大家已经亲眼看到李广的箭竟能射穿硬石头。这个消息传到匈奴那边，他们摸摸自己的胸口，心想，李广的箭连石头都能射穿，何况我们的血肉之躯呢？他们越想越害怕，以后匈奴人就不敢再去骚扰李广所管辖的那个右北平郡了。
汉武帝除了派李广代替韩安国镇守右北平之外，还把卫青派到北方。
卫青率领三万人的大军从雁门出发，将军李息也带领一支骑兵由代郡北上，与卫青的部队互相呼应。汉武帝吸取了原来分兵太多，各部兵力不足，易被各个击破的教训，加强了这两路的兵力。由于这两路军队的力量比较集中，因而具有较强的突破能力。这两支军队迅猛地向北推进，每战告捷，共歼灭匈奴数千人。卫青又立战功，更加得到汉武帝的宠信。
卫青和李息得胜还朝没几天，汉武帝又让他们再登征途。这已是元朔二年（公元前127年）的春天了，匈奴兵再次攻入上谷和渔阳地区，杀掠吏民一千多人，骚扰不断。汉武帝马上让卫青和李息重整战袍，发动了第四次反击。
这一次汉武帝改变了策略。以前几次都直奔向匈奴骚扰的地区，赶走入侵者。往往汉军占有优势时，匈奴军队就会迅速撤走，因而总是没有多大的战果。甚至有时汉军小股力量落入匈奴大集团武装的包围之中，反而被匈奴人利用优势兵力杀得大败。汉武帝吸取了前几次出兵的教训，在此基础上制定了一套声东击西的策略。
这次入侵的匈奴集中攻击汉朝东北部的边郡渔阳和上谷。匈奴人集中优势兵力想给救援的汉军以迎头痛击。卫青就作出伪装，让部队向东北方向推进。到了北部时，兵锋却突然西指，挥兵长驱直入攻击匈奴西部没有防御准备的高阙（今内蒙古阴山西长城口）和陇西，匈奴在东部，遇到了汉朝渔阳郡和上谷郡两地军吏的顽强抵抗，主力都集中攻击这两个地区，而匈奴人决没有料到汉朝会不解渔阳和上谷之围，反而扑向他们西部防御空虚地带，一时惊得天旋地转。
卫青和李息领兵直捣高阙，以优势的兵力打得匈奴人大败而逃。汉兵又沿黄河南下陇西（今甘肃临洮南），由北向南迂回地攻击寄牧于河南地（今内蒙古河套以南）的匈奴。匈奴人没有想到汉军会从北面杀过来，大败溃散。卫青和李息挥兵一顿砍杀，匈奴兵死伤五千余人。
在河南地的匈奴楼烦王和白羊王一看形势不妙，只好慌慌张张带着少数心腹士兵弃地而逃，匈奴人畜养的百万多头牛羊全部落到了汉军手里。
河南地原先在秦朝时，由蒙恬将兵三十万从匈奴手中血战夺得。后来秦末农民战争爆发，秦王朝的统治摇摇欲坠，而且抗击匈奴的名将蒙恬也被胡亥和赵高设计害死。匈奴人趁着中原地区乱成一团的时候，派兵轻取河南地，赶跑了秦朝的戍卒。这之后，匈奴经营河南地已有八十多年，直到汉武帝才又从匈奴手中夺回这个地方。
河南地是中原和匈奴两大对手必争的一块战略要地。河南地距汉朝都城长安不过数百里的路程。匈奴骑兵只用一两天的时间便可以从河南地赶到长安城下。所以匈奴把河南地作为向中原进攻的桥头堡。而对汉朝来说，匈奴占有河南地就等于在汉朝头上悬挂了一把利刃，汉廷随时有刀临脖颈的危险。河南地的收复，解除了匈奴对长安的威胁，扭转了汉朝对匈奴战争中的被动的军事态势。汉朝占有了河南地，等于往匈奴的胸膛中插进一把钢刀，河南地成了汉朝军队进攻匈奴的一个最好的军事基地。因此，汉朝收复河南地，是一次有政治意义和军事意义的胜利。这次胜利大大振奋了汉朝的士气和君臣抗击外侵的信心。
汉武帝这次出击获得了很大胜利，除杀死不少匈奴兵之外，还夺回了军事要地河南地，汉武帝按功行赏，封卫青为长平侯，食邑三千八百户。卫青部下校尉苏建被封为平陵侯，张次公为岸头侯。士兵们也得到犒劳和赏赐，军心大振。
这时候，郎中主父偃又给汉武帝献上一条计策，他对汉武帝说：“河南地一带土地肥沃，有黄河作为天然的水渠，是块膏腴之地。况且黄河天险阻止了匈奴的进攻，秦朝的时候，蒙恬就曾在那里修造城墙，抵御匈奴。现在臣以为应该在这些地方重建新城，设立郡县。这是从根本上抗击匈奴、保卫边疆的重要措施。”
汉武帝也认为河南地的地理位置有利于防御匈奴，但在那么大一片地方兴建城池也是国家大事，这需要花费许多人力和物力。汉武帝决定召开廷议，讨论固边筑城之事。不想大臣们多数持反对意见，他们反问道：“这件事与秦始皇筑长城又有什么两样呢？不但劳民伤财，而且在那么偏远的地方筑城，又有谁愿意搬到那边去住呢？”
汉武帝并不讨厌秦始皇，他所做的事有些是秦始皇做过的。汉武帝为了抵抗匈奴，是不在乎人力和物力的。他赞成主父偃的意见，大臣们也没有谁敢再提反对意见了。
汉武帝派将军苏建征调十多万人民去建筑朔方城（今内蒙古黄河以南的鄂尔多斯），又征发关东地区的民夫，把黄河以南蒙恬时修建的所有要塞都加固修理一下。这次筑城固边，花去的金钱以亿计，汉朝的府库也空了。崤山以东的百姓每十万人一批轮流去服劳役，一座座城堡在边境上夯实筑成，河南地的防守能力比以前有很大提高。
汉武帝在北方防御问题上系统考虑了一段时间，他除了在河南地筑城防守之外，把东部上谷郡里伸到匈奴界中去的一块土地放弃给了匈奴。因为上谷郡斗辟县造阳以北的地方九百里凸到匈奴境内，无险可守，派出防守的士兵经常遭到匈奴的突然袭击，而汉朝又不能及时派出援军救助。为了这小块地方，汉朝付出了沉重的代价。汉武帝把这小块地方放弃给匈奴也是为了防守的方便。这说明汉武帝对北方边防已经进行全面系统的研究和安排。
北方经过这次整顿，的确加强了防御匈奴攻击的能力。但这里除了戍卒之外，少有人烟，而且军粮得全部从内部调运。为了以民养兵，解决国家负担，汉武帝下令进行大规模的移民实边活动。汉武帝移民十万人充实到朔方郡。这大量的移民不但加强了边防，而且也部分地解决了没有土地的农民的生活。
大规模的移民使荒凉的河南地又充满了生气。土地被开垦出来，原先的牧场又得到了充分的利用。河套地区有黄河灌溉的便利条件，土地肥沃，经过汉朝军民的共同开发，成为塞北的一颗明珠。汉武帝为了便于管理河南地，就在原来秦朝九原郡的基础上，改名为五原郡，治所在九原（今包头市西北）。河南地又正式地回到中央政权的怀抱之中，又重新得到了开发。