西晋皇族的互相残杀给北方戎狄民族的趁势崛起提供了千载难逢的机会，司马氏骨肉相残的悲剧还没有退场，五胡十六国已经迫不及待地登场了。第一个在北方建立胡族政权的是匈奴刘渊。
说到匈奴，得把目光向前看到东汉时代。东汉王朝曾与匈奴有过交战，多次击败匈奴，导致匈奴分裂为南、北两部，北匈奴逃往西域，南匈奴一部向汉朝投降，被汉朝安置在长城以南，作为对抗北匈奴的藩属。汉末大乱，南匈奴也开始有了一些小动作。董卓扰乱天下，南匈奴单于于扶罗乘机攻入河东郡县，就此驻屯平阳一带。献帝兴平二年（公元195年），李催、郭汜作战，于扶罗在帮助汉献帝平乱时乘机在陕甘一带大肆掳掠，蔡邕的女儿蔡琰（蔡文姬）一就是在这时候被掳去的。于扶罗死后，其兄弟呼厨泉做南单于。曹操统一中原后，就把南匈奴的人众分为五部，选拔其中的贵人做首领。这时，匈奴的势力已经扩展到山西河南一带。曹操任命的首领是于扶罗的儿子刘豹，而刘豹的儿子正是后来复兴匈奴的刘渊。
由于祖孙三代已经进入汉族居住地区，刘渊的汉化程度非常高。他拜名儒崔游为师，学习《易》、《诗》、《书》等典籍，尤其爱好《春秋左传》、《孙子兵法》，并能熟读成诵，同时也读过《史记》、《汉书》和诸子百家。刘渊还具有匈奴人孔武有力的体格，膂力过人，善于射箭。刘渊非常崇拜汉高祖刘邦，鄙薄刘邦的手下，常说：“随和、陆贾这些人有文无武，绛夫、灌婴等人有武无文。”言下之意，他自己是文武全才。
刘渊的才华在洛阳时就得到了赏识。晋武帝灭吴时，他曾被举为元帅，树机能叛乱时，他也曾被推荐平叛，但由于他的匈奴身份，始终得不到信任和重用。他在晋朝担任的职务总是一些不能领兵的左部帅、北部都尉、五部大都督等闲职，受到成都王司马颖的控制，为此刘渊非常不满。当然，如果不是晋朝内乱，他也不会在历史上掀起多大的波澜。
“八王之乱”造成的混乱局面给了匈奴贵族趁机崛起的机会。刘渊的堂祖父、右贤王刘宣看到晋朝皇族互相残杀，就对族人说：“自从汉朝灭亡以来，我们的单于都是徒有虚名，不再有一寸土地。其余的王侯，地位降到与老百姓一样。现在司马氏骨肉亲人互相残杀，四海动乱如同鼎中沸腾的开水，光复呼韩邪的事业，这正是时候！”于是互相谋划，推举刘渊为大单于，并派心腹呼延攸到邺城去告知。刘渊知道后十分高兴，便以会丧为借口请辞。司马颖不允许。刘渊只好密令呼延攸先回去，通知刘宣等人召集五部匈奴以及各小民族的积蓄力量，加紧准备，伺机反晋。
永安元年（公元304年），正是八王之乱交战正酣的时候，成都王司马颖兵力不济，难以应付。刘渊抓住这个机会，自告奋勇向成都王请命说，愿意发匈奴五部之兵助战。成都王想也没想就答应了。刘渊回到左国城（今山西离石），刘宣等人立即给他上封大单于称号。二十多天时间，刘渊就召集了五万人马，建都左国城，称国号为“汉”。刘宣等人请求刘渊上一个尊号，刘渊说：“现在四方都没有平定，暂且按照汉高祖那样称汉王吧。”于是，刘渊祭天于南郊，登上汉王王位，宣布大赦，改年号为元熙。
刘渊在中原居住几十年，汉化程度非常高，熟谙汉族人的心理。有几件事情可以说明一二。刘渊起兵称大单于之后做的第一件事是派五千骑兵去救成都王颖，部将们不能理解，既然我们已经另起炉灶了，为什么还要理会晋朝的家事。刘渊说：“我已经答应了他，不可以不救。”这话当然是一种政治“秀”，意在表明自己诚信待人，和司马家族的诡诈完全不一样。另外，刘宣等人一心要“复呼韩邪之业”，而刘渊却说：“呼韩邪何足效哉！”他要做的事业是建立汉朝一样伟大的朝代。他心目中的英雄是刘邦、曹操。刘渊的头脑很清楚，如果自己亮出匈奴的旗号，肯定不受汉人拥护。他决定利用匈汉和亲关系，把汉朝作为自己的家事，每当说到刘邦，总要说“我高祖”。为了表示尊汉，不仅痛责自己心目中的偶像曹操，也对刘备未能完成复兴大业深表惋惜。从这些政治“表演”可以看出，刘渊是一个极有政治头脑的高明人物。
刘渊建国之后，派兵四处攻略，一切进行得有声有色，他本人也于晋永嘉二年（公元308年）正式称帝。刘渊甚至还想到偷袭洛阳，一举消灭晋朝。经过两次进攻，洛阳始终无法攻下，还损失了几员大将。刘渊觉得大概晋朝的气数未尽，因此退兵，四处扩大地盘。
刘渊于晋永嘉四年（公元310年）去世，太子刘和嗣位。不久，皇子刘聪杀死他的兄弟，夺得帝位。刘聪再接再厉，终于攻陷洛阳灭亡了晋朝。由于匈奴汉国后来因家族内篡改称赵，因此在十六国史上，这个国家也称为前赵。