匈奴因战争、天灾、领土及人口的减小，处境日益困宭，内部纷争开始激化。自伊稚斜单于后，匈奴单于更迭频繁。前60年，虚闾权渠单于死，其妻颛渠阏氏与其弟都隆奇合谋立右贤王屠耆堂为单于。他上任后，排除异己，杀尽前单于所用旧人，重用自己的子弟，以致发生内讧，兵败自杀。他死后，匈奴开始争夺单于王位的内战。
前58年，匈奴东部姑夕王等人共立虚闾权渠单于子稽侯栅为呼韩邪单于，击败握衍朐鞮单于，握衍朐鞮自杀身亡。都隆奇等人共立日逐王薄胥堂为屠耆单于，击败呼韩邪。此时呼揭王自立为呼揭单于，右奥鞮王自立为车犁单于，乌籍都尉亦自立为乌籍单于，是为五单于争立时期。屠耆单于先后攻击乌籍、车犁，乌籍、车犁皆败走西北与呼揭合兵，呼揭、乌籍皆去单于称号，拥车犁为单于，为屠耆所败。呼韩邪乘机进攻，屠耆大败自杀，车犁也率部投降。
不久，呼韩邪兄呼屠吾斯自立为郅支单于，居东边。屠耆从弟休旬王也自立为闰振单于。前54年，闰振率军东击郅支，兵败被杀。郅支乘胜击破呼韩邪，据漠北王庭。呼韩邪单于南下投靠汉朝。后来郅支单于则率部众退至中亚康居（今巴尔喀什湖与咸海之间，即哈萨克斯坦一带），呼韩邪单于占据漠北王庭。前36年，为了清除匈奴在西域的影响，甘延寿、陈汤远征康居的匈奴，击杀郅支单于。
前33年呼韩邪单于朝汉，提出愿婿汉以自亲，娶王昭君与汉修好。呼韩邪封王昭君为宁胡阏氏。
此时双方相安无事，局势安定，国力得到恢复，人口增加。史称「初，北边自宣帝以来，数世不见烟火之警，人民炽盛，牛马布野」。（《汉书．匈奴传》）
呼韩邪死后，其后裔遵从他的遗嘱，与汉朝保持友好关系达30多年。直到王莽专政为止。
王莽建新朝后，把汉宣帝颁给呼韩邪单于的金质“匈奴单于玺”索回，另发给乌珠留单于“新匈奴单于章”，蓄意压低单于的政治地位；将“匈奴单于”称号改为“恭奴善于”，后改为“降奴服于”；王莽企图用武力树立威信，分匈奴居地为15部，强立呼韩邪子孙十五人俱为单于，以削弱匈奴的势力，激起了匈奴的不满，连年侵扰北方边塞。西域诸国先后沦入匈奴势力范围。
东汉初期汉光武帝与匈奴通好，不断派遣使者前往赐财物，而单于骄倨益横，汉匈关系仍没有改善。东汉建武五年（29年），匈奴扶植卢芳为汉帝，割据五原、朔方、云中、定襄、雁门等五郡，都九原（今内蒙古包头市西南）。后降汉，被封为代王。后复叛，留匈奴历十余年。