慘敗之後，汲桑、石勒分頭逃跑，汲桑回到了牧苑，石勒逃往樂平。
話說當年司馬騰為了掙外快，幹起了倒賣人口的事，把並州境內很多胡人抓起來賣錢。這批被動賣身的人裏頭，有一個青年羯人被賣給茌平人師歡為奴。因為他狀貌氣概不凡，師歡還了他自由之身。
很快，這個青年羯人在鄰近的牧苑中結識了牧馬人汲桑，兩人一見如故，約為知己，汲桑給他起了一個名字：石勒。
待到公師藩起兵，汲桑、石勒看到了機遇，糾結數百壯士投奔。公師藩失敗了，可汲桑、石勒並沒有泄氣，抓住機會，卷土重來。
可這一次，他倆又失敗了，不但失敗，而且從此分道揚鑣，這一事件，標誌著汲桑的人生走向終點（不久被司馬騰故將田甄等人追上殺死，司馬穎的棺材被扔進枯井裏），卻成為石勒的命運轉折點。
這兩次失敗，給石勒留下了深刻的教訓，僅靠無組織無紀律無理想的三無亂民，難成什麼氣候，是時候給自己找一個穩定的靠山了。
經過這兩年的觀察，石勒看準了劉淵。
劉淵辭別司馬穎後，立刻回到了並州境內的左國城，等待他的，是蠢蠢欲動的五部匈奴。
在劉宣等人的擁戴下，劉淵當上了匈奴大單於，十日之間，便集結起五萬部眾，定都離石。
劉淵似乎並沒有食言，派出部將王宏援助司馬穎。那時候，司馬穎已經棄鄴城而逃，王宏無功而返。
下一步如何行動，劉淵心裏已經打定了主意，但是，幾十年在中原的經曆，教會了他太多東西，其中有一項，叫做權詐。
劉淵召集群臣，提出準備出兵攻打鮮卑、烏桓，繼續援助司馬穎。劉宣一聽就急了，晉人無道，待我如奴隸，鮮卑、烏桓同為受苦受難的同類兄弟，最好能與他們團結一致，一起攻晉，幹嗎先打他們啊？
況且，如今晉人骨肉相殘，正是我們的機會，呼韓邪的基業，正好由您來恢複。
劉宣等人的反應令劉淵感到非常滿意，他哈哈一笑，你說得不錯！不過，還是小家子氣了點。如今我眾已達十萬，人人矯健，南下攻晉，摧枯拉朽，就算做不成漢高祖，做個魏武帝也綽綽有餘了，呼韓邪何足道哉？
劉淵這一番氣勢恢宏的展望，讓劉宣等人大喜過望，當下便請他立國紀元。
如果戰旗國旗上寫個“匈”或者“奴”，或者“胡”，不但難看，肯定還會招晉人厭惡，劉淵當然不可能這麼幹。他選了一個意味深長的字眼——漢。
我本漢甥，約為兄弟，兄亡弟紹，有何不可？
於是，劉淵打起了“漢”的大旗，稱漢王，南郊築壇，告天祭地了一番，道是“我太祖高皇帝，太宗孝文皇帝”，雲雲，把漢朝三祖五宗，列入自家宗廟，連劉禪也被尊為孝懷皇帝。
一切開國製度，均仿照兩漢。
所以說，不怕流氓會打架，就怕流氓有文化。
自立為王後，劉淵第一個攻擊目標便是當時尚為東嬴公的司馬騰，這一戰，把司馬騰打得領著並州兩萬多戶人，暫避崤山以東，劉淵占據了蒲子。
之後，劉淵又攻下太原。司馬騰曾遣四將，往攻劉淵大本營離石，被匈奴將領劉欽一一殺退，全部逃歸。
此後，劉淵便開始大肆攻城略地，逐漸向南蠶食鯨吞。
石勒的誌向，可不是去劉淵那裏當個百夫長，他希望一過去，就能拜為上將，領兵多多益善。
但石勒也知道，劉淵那裏不缺勇士，也不急缺大將，人家那邊有出色將領，比如族子劉曜、四子劉聰。
怎麼才能立刻得到重視呢？石勒覺得，最好趕著馬車，帶著嫁妝去。讓對方看到，自己不是窮途末路，孤身一人，而是一股不可小覷的力量。
石勒很快發現了可以作為資本使用的一支人馬，他們是駐紮在上黨的幾千胡人，首領叫張督、馮莫突。
石勒找到張督，劈頭就問了一個問題：劉單於舉兵攻晉，您抗拒不從，您自忖以後能獨立嗎？
張督老實，說，那應該是不能。
石勒說，既然不能自立，那還不早點找靠山？現在眾部落都接受了單於的賞賜招募，你不怕他們商議之後，背叛你而投歸劉單於？
張督想了想，覺得有理，當年十月，隨石勒一起歸附劉淵。
石勒當場被封為平晉王，輔漢將軍，張督、馮莫突的隊伍就交給石勒統率。
不久後，石勒略施小計，又招降了屯兵樂平的烏桓張伏利度。
張伏利度雖然隻有兩千人，卻很有點寧為雞首、不為牛後的骨氣，劉淵屢次招募，都被他拒絕了。
石勒假稱得罪劉淵，逃到張伏利度那裏。估計張伏利度早聽說過石勒的大名，歡歡喜喜地接待了他，還結為兄弟。自從有了石勒，張伏利度向各部落搶劫，所向無敵，一搶一個準兒。漸漸地，大家對石勒都很敬佩服氣。
時機成熟了。一天，石勒趁宴會的機會，突然發難，把張伏利度捆了，問眾人道：“今天要是幹大事的話，我和他，誰更適合當主帥？”
眾人異口同聲說，當然是石大帥您啦。
石勒搞這一出的目的，當然不是貪圖張伏利度這點地位，用意在於用殘酷的現實來教育後者。