看到汉武帝热心地经营河南地，军臣单于又气又急。在公元前127年的冬天，一病不起，溘然长逝。匈奴境内群王无首，为夺取单于的位置又展开了一场激烈的争夺。
军臣单于生前立下太子於单，应该是匈奴王国的正式继承人。但军臣单于的弟弟左谷蠡王伊稚斜觊觎单于位置多年，早早就积累了强大的军事力量。他一看军臣单于死去了，马上就自立为单于，他有强大的骑兵队伍，不怕太子於单的反抗。
太子於单不甘心就这样失去单于的位置，他领着自己所属的人马和伊稚斜展开了决斗，於单势单力薄，被伊稚斜打得大败，於单无路可走，只好逃到汉王朝境内请求投降。汉武帝对于於单采取了友好的姿态，他为了鼓励匈奴人不与汉朝作对，就把於单封为陈安侯，以显示汉朝博大胸怀。可是於单不太适应中原的生活，没过几个月就死了。而匈奴内部伊稚斜打跑了於单，就以军臣单于弟弟的身份高登单于宝座。
这时，汉朝宫廷内也正在大办丧事，原来汉武帝的母亲王太后去世了。王太后的去世，汉武帝很是悲伤，他克尽孝礼，为母亲举行了隆重的葬礼。为了安息死者的亡灵，汉武帝在这以后的两年时间里一直没有动用兵符，汉朝和匈奴之间大规模的军事冲突暂时停了下来，进入短暂的和平时期。
匈奴新立的伊稚斜单于却是个好战之徒。他一上台就企图夺回河南地，报仇雪恨。他看到汉武帝为王太后服孝而暂时放弃了对匈奴的大规模打击，就变本加厉地攻击汉朝边郡，掳掠边民。
从公元前126年冬到公元前124年春这两年的时间里，汉朝军队一直处于防御状态，并没有进行大规模的反击。伊稚斜单于气焰很嚣张，接连不断地攻击汉朝北疆，他在元朔三年（公元前126年）春天刚刚夺取单于位置不久，就领数万人攻击代郡，汉朝代郡太守共友竭力反击，被匈奴兵杀死。匈奴兵掠汉朝一千多人口退回去了。等到秋雁南归的时候，匈奴骑兵又踏着枯草偷偷地侵到雁门郡内，杀掠雁门郡内百姓一千多人。这两次南侵使伊稚科单于尝到了甜头。
元朔四年（公元前125年），伊稚斜单于又举行了一次更大规模的南侵，他知道汉武帝因为丧母不会派大军反击，所以就派出了九万大军，分成三路南侵，企图能得到比上次更大的收获。匈奴骑兵分三路，每路三万人分别攻击代郡、定襄和上郡三个目标，汉朝北方边郡烽火连天，又不能互相救助，只能困守待援。但是，伊稚斜单于也不敢在汉朝境内滞留时间太长，因此他在纵兵杀掠一番之后，俘走了几千汉人就退回去了。
匈奴右贤王也乘机向南进犯，因为河南地被汉朝占有并筑朔方城加固防守之后，就等于断了他的财路，他也想报仇雪恨，就多次派兵侵犯河南地，有时攻击到朔方城下，汉朝军吏共同抵抗，但终因寡不敌众，损失惨重。汉武帝忍无可忍，不得不下决心追歼匈奴，从根本上打击匈奴。
元朔五年（公元前124年）的春天，汉武帝下令第五次对匈奴用兵。汉军踏上刚刚吐绿的草地，再次开始了新的征程。
这次用兵，规模很大，并且开始由国内的防御转变为在匈奴境内追击匈奴。汉武帝下令卫青率领三万骑兵从河南地北边的高阙出发，作为这次出兵的统帅。卫尉苏建被拜为游击将军，左内史李沮为强弩将军，太仆公孙贺为骑将军，代地相李蔡为轻车将军，各领一部人马，他们一齐从朔方城出发。另外东部一路由大行李息、岸头侯张次公为将军从右北平一带一起北上。
车骑将军卫青统帅六个将军和十多万人马大举进入匈奴境内。他们东西线同时出击，但重点是在西线，东线只是起牵制和策应的作用。
匈奴右贤王刚从河南地大掠一番返回，正在帐中饮酒作乐，回味这次入侵的收获。他手下报告说汉武帝已经派卫青又率大队人马要找他报复，心中一惊。但他又想此地距汉境一千多里，估计卫青集结好军队再走这么远的路，得需要几天的时间，右贤王就决定就地休息，明天再往北转移也不迟。
可是右贤王打错了算盘，卫青集结军队速度很快，而且又是从凸出到匈奴境中的河南地起兵，实际距右贤王居住地仅有六七百里。卫青挥兵北进，在日落前把右贤王的居住地团团围住。
手下人的报告把右贤王的酒吓醒了，他听说汉军忽然包围上来，不由得惊恐万状。他慌慌张张地备鞍上马，带着一个心爱的小老婆和几百名心腹骑兵乘着夜色突围逃跑。卫青听到报告，马上派轻骑校尉郭成等人猛追不舍。由于右贤王熟悉地形，所以在郭成等人追了几百里地时，终于被右贤王甩掉了。郭成只好空手而回。而汉军在包围圈内却收获不小。汉军镇压了匈奴兵的顽强抵抗，活捉右贤王手下的副王十多人。同时被俘获的还有一万五千多人和近百万头牲畜。
卫青下令班师回朝，胜利的消息早就由人飞快地报告到汉武帝那里去了。汉武帝见又取得了一个大胜利，欣喜若狂。他马上叫过一个使者吩咐了几句。
卫青的军队喜气洋洋地返回边塞。在塞上站满了欢迎的军民。卫青刚到塞下就看到汉武帝派出的使者恭立在城门前，使者手捧着一封大印，对卫青说：“皇上令臣持大将军印，即在军中拜为大将军。”卫青拜谢接过大将军印。将士们一片欢呼。属将们将军队交归大将军管辖，汉军吹得胜号返朝。
汉武帝再次奖励这次出击的有功人员。他对臣下说：“大将军卫青亲自率领士卒，出师大捷，擒获匈奴副王十余人，立下汗马功劳，朕决定再加封卫青八千七百户。”汉武帝觉得卫青屡立战功，就别出心裁要封卫青的三个儿子为侯，他下令封卫青的大儿子卫伉为宜春侯，另两个儿子卫不疑和卫登分别被封为阴安侯和发干侯。汉代时从汉高祖那传下来的规矩；非功臣不得封侯。而汉武帝却把卫青的三个儿子一齐封侯，尚属史无前例，可见汉武帝对卫青的战绩太满意了。
大将军卫青见到汉武帝时再三谦让说：“臣有幸得在汉家军队里，依靠陛下的神威才使军队取得了胜利，这也是将士们共同力战取得的功劳。陛下已经给了臣很高的封赏和荣誉，又增封臣的三个儿子为侯。可是犬子小的尚在襁褓之中，没能为陛下立下一点功劳，陛下却裂地分封他们为侯，这不是臣在军队里勉励将士们奋力拼杀的本意。犬子卫伉等三人又怎敢受封呢？”
汉武帝坚持原议，他对卫青说：“朕并不是忘了将士们的功劳，现在正在安排他们的封赏呢。”把卫青劝了回去。
汉武帝除了重赏大将军卫青之外，又下诏给御史，对其他有功人员进行封赏，他说：“护军都尉公孙敖三次随从大将军卫青出击匈奴，总护诸军，擒获匈奴副王，战斗有功，因此封公孙敖为合骑侯：都尉韩沉跟从大将军北出置浑关塞，包围匈奴右贤王的王庭，指挥部下擒获匈奴副王，故封韩沉为龙额侯。骑将军公孙贺和轻车将军李蔡都因擒获匈奴副王有功，分别封为南印侯和乐安侯。”
汉武帝除了重赏高级将领之外，对于领军的中级军官也给予赏赐，封校尉李朔为陟轵侯，赵不虞为随成侯，公孙戎奴为从平侯。将军李沮、李息以及校尉豆如意、中郎将绾等都因功赐爵关内侯，李沮、李息和豆如意分别赐给食邑三百户。御史大夫奉旨逐一封赏有功劳的将领，连士兵也不例外。
正当汉朝君臣为获得大胜而弹冠相庆时，匈奴统治者却是火冒三丈。他们不仅没有从汉朝掠到什么太丰厚的财富，反而被汉军一次反击打得落花流水，就连牛羊也被汉军顺手夺过去了。匈奴人恼羞成怒，又向汉朝发动了猖狂的进攻。
这年秋天，意图报复的匈奴人又入侵汉朝边界，在代郡杀死都尉朱央，俘虏汉人一千多人。元朔六年（公元前123年）春天，汉武帝决心再给匈奴人一次教训。他命令大将军卫青又一次从定襄出发，作为总指挥。合骑侯公孙敖为中将军，太仆公孙贺为左将军，翕侯赵信为前将军，卫尉苏建为石将军，郎中令李广为后将军，左内史李沮为强弩将军，全部归大将军卫青指挥。
汉军大队北上，匈奴急速退兵，汉军随后追击，歼灭匈奴数千人。卫青见匈奴人退兵避战，只好率领大军后退到边境，在边郡一带进行休整。
暂时的宁静预示着更大风暴的到来。过了不到两个月，一直安静地守在汉朝边郡上的汉朝大军突然又向北疾进。大将军卫青统率着六位将军，十余万骑兵，似狂飙猛起，从定襄北进数百里。措手不及的匈奴人进行了顽强抵抗。大将军卫青挥军猛击，又推进一百多里，安营扎寨。
前将军赵信原来是匈奴的小王，投降了汉朝，被封为翕侯。他是这次大军的开路先锋，因为他比别人更熟悉匈奴地区的道路和地形，就和右将军苏建率领三千多骑兵在大军前面开路。
卫青的外甥霍去病也在卫青帐下。他这一年才十八岁，但身体健壮，喜欢骑马射箭，这倒很像他的舅舅卫青。大将军卫青很喜欢他，就带他一起随军北击匈奴。汉武帝下诏告诉卫青，让霍去病参战立功。卫青按汉武帝意愿，给霍去病八百名壮士，都是汉军中身手矫健，武艺高超的年轻士兵。并且任命霍去病为票姚校尉，相当于一支现代的特种部队的头头。