武帝一边在颁布一道道改革内政的法令，另一边也不忘改革兵制，派卫青，霍去病出击匈奴，使北部边郡得以安定，派张骞出使西域，开拓了西北边疆，开通了西汉联系西域以至中亚等地通道。
元光六年（公元前129年）冬天，匈奴统治者发动了一次大规模的入侵中原战争。匈奴兵一路烧杀抢掠，长驱直入。匈奴骑兵的先头部队都攻到了上谷（今山西省北部地区）地区。
边关报急的警报雪片般地向长安城中飞过来。中原北部烽火连天，狼烟四起。汉武帝此时已经二十八岁，考虑事情也比较成熟了。他一直为没有机会北伐而懊丧。这次接到边关的警报，马上做出了强硬的反应。他召集高级将领出谋划策，下令立即予以反击。如果说马邑之围是汉武帝第一次对匈奴用兵，那么这次反击则是五年之后，汉武帝发起的第二次对匈奴军队的用兵。
汉武帝在派兵前作了周密的部署。他用人不疑，派出的四名将领中，李广是个老资格的将军，而卫青则是个初出茅庐的小字辈。汉武帝把四万汉军分成四路，每路大约一万人马左右。汉武帝派卫青从上谷出发，封为车骑将军，正面攻击匈奴。公孙贺被封为轻车将军，带领一路人马从云中（今山西西北长城南、河套东北）出发；公孙敖为骠骑将军，带领一路人马从代郡出发；李广被封为骁骑将军，带领一路人马从雁门出发，后三路人马作为卫青的策应。
汉武帝怕这次用兵吃亏，所以只允许这四路人马在关市（汉朝和匈奴交易的场所）附近寻找机会歼敌立功。汉武帝采取这种兵分四路的办法，战略是分进突袭，力求在不深入敌境的情况下，在边境附近给予入侵者以有力的打击。分进突袭，目的是想使匈奴人左右难顾，而且又提高了部队的推进速度。但军臣单于采用了各个击破的方法，从而打破了汉武帝的美梦。
军臣单于探听到汉武帝派出了四个将军分兵四路北上，就根据汉军的推进线路重新布置了人马。匈奴人最怕的是李广。四个汉军将领中，李广是资格最老，本领最大而能征善战的将军。
李广是陇西成纪人。他的前辈是秦朝的名将李信。李广家里都是行伍出身，射箭的技艺一代代地传了下来，而李广却是其中箭术最高超的。
汉文帝在位时，李广曾随军北击匈奴。因为箭法高超，射杀匈奴骑兵数十人，被封为郎官并侍从在文帝左右。他又时常随汉文帝一同外出打猎，多次格杀猛兽。汉文帝曾对他说：“可惜你生不逢时，要是你生活在高皇帝打江山的时候，封你做个万户侯是没有什么问题的，可以光宗耀祖了。”
在汉景帝朝中，李广跟随太尉周亚夫平定七国之乱，立有战功，但因为梁王私下里给了李广将军印，所以汉景帝就没有重赏他。汉景帝认为李广是员勇将，就派他到上谷地区当太守。他仗着一身武艺，多次与匈奴人交战。汉景帝怕他太鲁莽，白白地丧命，就调他到上郡做太守。后来他又当过雁门太守、代郡太守和云中太守。李广一直在北方边郡担任太守，骁勇善战，在匈奴那边也出了名。
这时汉武帝吩咐李广带领一万兵马从雁门出发北逐匈奴。军臣单于就相应地做了安排。他知道四个将军中最难对付的就是李广了。他就把大部分兵力集中到雁门这一带的阻击上。并在雁门北部用重兵设置了一个大伏击圈，准备用来活捉李广，好收降他。
李广从雁门北上，每战必胜，领着手下人向北急速推进。他哪里知道这是军臣单于的诈败之计，目的是引诱他进入包围圈。李广只顾向前猛冲，不想在雁门北遭到了匈奴的伏击。李广脱围不成，又被匈奴兵射伤。团团围上来的匈奴兵生擒活捉了失去抵抗能力的李广。
匈奴兵见捉了李广，很是高兴，他们看见李广受了伤，就用绳子结成一个网，吊在两匹马中间，让李广躺在上面，他们准备去向军臣单于献功、请赏。
这些匈奴兵打了胜仗，心中高兴，一路谈笑风生。李广在吊网上纹丝不动，假装昏死过去。匈奴兵走着走着，警惕性也就很快地全放松了。
李广在吊网上估算着这些人已经走了有几十里地，就偷偷地睁开眼，看见刺眼的阳光勾勒出一匹骏马的头影，李广知道这是一匹善跑的好马。他使劲从吊网上跳起来，飞身骑上那匹骏马，抱住了马上的匈奴兵。别的骑兵都惊呆了。李广夺过他怀抱中那个匈奴骑兵的弓和箭，把他推下马去，调转马头，拼命往回跑。其他匈奴兵半晌才反应过来，他们也一齐勒转马头，在后面猛追不舍，疾驰的马蹄在荒原上扬起滚滚的烟尘。
李广回头看匈奴兵快要追上来了，他一面使劲打马疾驰，一面弯弓搭箭，匈奴的追兵跑在最前面的几个都应弦落马。匈奴骑兵只好放慢速度，眼睁睁地看着李广越跑越远。
公孙敖领一万人马从代郡出发，也遇上了匈奴一支主力骑兵。公孙敖的部下被匈奴兵大杀一阵，死伤七千多人，几乎全军覆没，幸好他逃得快，领着残兵败将总算逃回来了。公孙贺从云中出发，一路上连个匈奴兵的影子也未见到，他还想在附近找到匈奴兵决战。后来得到消息说雁门和代郡的两路兵马吃了败仗，公孙贺心中发慌，害怕匈奴兵再回兵来围攻自己，所以不敢总在原处等候，只好下令班师回朝。只有上谷的那一路卫青的军队，一直攻击到笼城。匈奴兵大部分调往雁门攻击李广去了，所以后防空虚，在笼城守卫的仅有几千人。卫青领一万人马，以多攻少，占了便宜，他打了胜仗，所杀和俘获七百多人。一看别的将军撤退的撤退，战败的战败，不敢孤军留在敌后，马上也领兵撤回。
这次出击，李广和公孙敖两路大败亏损，公孙贺白跑了一趟，只有卫青这一路取得了小胜，从整个战局来看，汉朝是失败了，匈奴军队取得了胜利。
第二次反击又遭失败，汉武帝大发雷霆，他下令把公孙敖和李广及违反军令的中下级指挥官、军吏送交司法部门，又把溃败逃跑的士兵抓起来，把他们投入到牢狱之中，听候处理。
接着，汉武帝按这次出兵的功和罪进行赏罚。因为只有卫子夫的兄弟卫青打了胜仗，所以汉武帝格外地赏赐他，封卫青为关内侯。公孙贺总算没有损失人马，被封为南窍侯。公孙敖和李广损兵折将，大败而回，本当斩首，准许他们赎为庶人。公孙敖和李广交了钱从狱中放出又做起了平民。对其他不服从指挥、弃军逃回的校尉和违反规定的军吏，则依军法严肃处理，汉武帝的第二次反击，虽说从战局全盘看失败了，但损失不大。汉武帝从中发现汉军校尉和将领之间配合不好，而且中下层军吏中有许多人有违反军令的现象。汉武帝就想通过赏罚来调动士气，并对军风军纪进行了整顿。这次反击为汉武帝提供了许多治军的经验。
卫青虽是奴仆出身，然而精于骑马射箭，勇敢超过常人，指挥有方。卫青对于上下的官员都十分谦恭，对手下的士卒也格外地恩遇。众人都乐于为他效命，称赞他有大将的气度和才能。汉武帝把卫青从奴仆一层层地提拔上来，天下人也因此佩服汉武帝慧眼识才，能够破格用人。