帝唯恐是诈兵之术，命霍去病率万骑前往受降，霍去病尚在途中，休屠王已然反悔，浑邪王情急刺杀休屠王，收编其军队。惊闻风云突变，霍去病毅然率军渡黄河，令全军在四万余匈奴部队前列阵进逼，这时浑邪王部许多无诚意降汉的人，纷纷掉转马头逃跑，阵营骚乱。
霍去病当机立断，飞马跃入浑邪王阵中，抓住浑邪王，稳住了匈奴众部，再通过谈判，命浑邪王斩杀八千名作乱官兵，派人护送浑邪王赴长安，自己率领几万匈奴兵，功成而返。汉朝把归附的匈奴部众安置在陇西等五郡关塞附近，又沿祁连山至盐泽（今新疆罗布泊）筑边防城寨，在原休屠王、浑邪王驻地分设武威、张掖两郡，酒泉、敦煌总称河西四郡，既进一步孤立了匈奴，又打开了通往西域的道路。
公元前119年，汉朝决定派卫青、霍去病率骑兵5万，步兵几十万人合围漠北。霍去病出代郡（今河北蔚县一带）右北平（今河北平泉县一带），卫青出定襄（今内蒙和林格尔），分兵越过沙漠，寻求与单于决战。
根据沙漠作战的特点，霍去病大胆选用部分降汉的匈奴人和留居匈奴时间较长的汉人为军校，这样就具有熟知匈奴军情和漠北气候的优势。率领有向导的轻骑兵，离开基地，深入敌后，“取食于敌”，“追奔逐北”两千多里，寻找单于。由于单于主力西移，他又率部翻离候山（今何地不详），渡弓卢水（今蒙古克鲁伦河），与匈奴左贤王（辖匈奴东部地方的最高长官）部酣战，结果获匈奴顿头等3小王将军、相国、都尉等83人，共斩俘7万余人，匈奴左部几乎全军覆灭。
卫青率部北进1000多里，穿过大漠，向颜山赵信城（今蒙古人民共和国境内）进发，遭遇匈奴单于所率主力精骑，激战中匈奴单于向西北逃走，汉军虏匈奴近2万人。
霍、卫两军终于胜利会师于瀚海（今贝加尔湖），为庆战功，在狼居胥山（今蒙古人民共和国德尔山）立祭天高坛，在姑衍山（今蒙古人民共和国乌兰巴托东）开祭地广场，后班师凯旋。
此役收复大漠以南所有土地，屯田筑垒防御匈奴，“匈奴远遁，而漠南无王庭”，解除了西汉初年以来匈奴对汉王朝的威胁，霍去病也晋升为大司马骠骑将军。
霍去病战功赫赫，但为人心胸狭窄。有一次卫青率领老将李广等人北伐匈奴，卫青没有委他以重任，这位倔强的老将军愤而自杀了。李广的儿子李敢当时也随军出征，把老父的死归咎于卫青，竟趁卫青不注意的时候冲过来把他击伤了。卫青对老将军的死觉得心中不安，因此对李敢的行为不加以计较，但他外甥霍去病却恨不得要上前与李敢拼命。等到班师回朝后，霍去病对这件事仍耿耿于怀，伺机报复。过了几天，汉武帝邀卫青，霍去病、李敢等将领去甘泉宫打猎。一路上大家有说有笑，唯独霍去病一个人低头不语，显得心事重重的样子。他心里正在盘算着怎么暗害李敢呢？当行到僻静之处时，霍去病终于找到了一个好机会，趁人不注意，他竟一箭把李敢射死了。当时汉武帝倚重卫青和霍去病，不愿追查这件事情，就以打猎出现意外事故为名，把死者家属给打发了。
远征匈奴后两年，霍去病就因病去世了，年仅24岁。汉武帝为他举行了隆重的葬礼，由披铁甲的官兵列队将灵柩护送到自己的墓穴茂陵东，葬于外形仿祁连山状的高大墓中，墓前还有汉武帝为表彰其战功而立的14件大型圆雕石刻。上书其座右铭：“匈奴未灭，何以家为！”李白《乐府诗胡无人》写道：“严风吹霜海草凋，筋干精坚胡马骄。汉家战士三十万，将军兼领霍嫖姚。流星白羽腰间插，剑花秋莲光出匣。天兵照雪下玉关，虎剑如沙射金甲。云龙风虎尽交回，太白入月敌可摧。”