在李雄在成都稱王的同一年（公元３０４年），北方的匈奴貴族劉淵也反晉獨(dú)立，自稱漢王。

　　自從西漢末年起，有一部分匈奴人分散居住在北方邊遠(yuǎn)郡縣，他們和漢族人相處久了，接受了漢族的文化。匈奴貴族認(rèn)為上代多次跟漢朝和親，是漢朝皇室的親戚，后來就改用漢皇帝的姓——劉。曹操統(tǒng)一北方后，把匈奴三萬個(gè)部落分為五個(gè)部，每個(gè)部都設(shè)部帥，匈奴貴族劉豹是其中一部的部帥。

　　劉淵是劉豹的兒子，從小讀了許多漢族人的書，力氣大，武藝高，能夠拉三百斤重的大弓。劉豹死后，劉淵繼承他父親的職位。后來，在西晉的成都王司馬穎（八王之一）部下當(dāng)將軍，留在鄴城，專管五部匈奴軍隊(duì)。

　　八王混戰(zhàn)開始后，匈奴部落里一些貴族們?cè)谧髧?guó)城（今山西離石北）開會(huì)商量。有個(gè)老年貴族說：“我們匈奴從漢朝開始跟漢人結(jié)為兄弟。經(jīng)過魏、晉兩個(gè)朝代，匈奴單于后代雖然有封號(hào)，卻沒有自己的尺寸土地，跟一般百姓沒有什么兩樣。現(xiàn)在晉朝發(fā)生內(nèi)亂，自相殘殺。這正是我們匈奴人恢復(fù)地位的好時(shí)機(jī)啊！”

　　大家都覺得他的主意對(duì)，叫誰來帶頭呢？大家一議論，認(rèn)為劉淵有才能，威望高，推他當(dāng)單于挺合適。

　　貴族們派個(gè)使者到鄴城，把大伙兒的意思告訴劉淵，請(qǐng)他回來。劉淵很高興，就借口要回匈奴葬自己的父親，向司馬穎請(qǐng)假。司馬穎不同意，劉淵只好讓使者先回去，并且要五部匈奴集結(jié)兵力，向南移動(dòng)。

　　后來，晉朝的并州刺史司馬騰、將軍王浚聯(lián)絡(luò)鮮卑貴族攻打司馬穎，司馬穎失敗了，逃往洛陽。劉淵向司馬穎要求回去帶匈奴兵馬來助戰(zhàn)，司馬穎才讓他走了。