待到六鎮軍士的驚恐醞釀得差不多，火候正好，高歡作為統帥，與這支萬餘人的先遣軍舉行告別儀式，他自己也淚落如雨，作出一副萬般無奈的樣子。即將踏上去山西之路的士兵一片嚎哭之聲，悲從中來，驚天動地。
高歡歎息一聲，說:“我和你們都是鎮戶出身，一家人嗬。現在西去打仗，肯定得死!遲誤軍期，到目的地後也得死;發配給契胡人當部曲，還得死!總之，都是死路一條。我們該怎麼辦呢?”
士兵馬上齊呼:“隻有造反!”
高歡很焦急的樣子:“造反是不得已的事情，誰能帶頭呢?”
將士雀呼，共推高歡。高歡一副萬不得已，為眾擔罪的樣子。躊躇再三，他對六鎮降兵說:“你們這些人鄉裏鄉親很難統馭。想想看，葛榮有百萬之眾，就是沒有軍規戰紀，散漫無製，最後難逃敗亡。如果你們推我為領軍，就不能再像從前一樣，不能隨意欺負漢人(六鎮降兵多為鮮卑人)，不能違犯軍令。不然的話，我可不和你們一起造反。”
“生死由您做主!”萬餘軍同聲呐喊。
於是高歡殺牛宰羊，犒賞士兵，在信都起兵。
為了名正言順，高歡與屬下拎出魏朝宗室、渤海太守元朗為帝。
532年，高歡初次與爾朱氏交鋒，以少勝多，在廣河大敗爾朱兆，俘獲五千多人。爾朱兆、爾朱世隆等人在爾朱榮死後興兵，殺入洛陽後縊死魏莊帝，立節閔帝，宰製天下。本來一家窩裏鬥，各懷異心，相互猜阻。忽然之中生出高歡這麼個共同的敵人，反而一條心聯合起來。爾朱天光從長安出發，爾朱兆從晉陽舉兵，爾朱度律發自洛陽，爾朱仲遠從東郡趕赴，四路大軍共二十萬人在鄴城彙集，夾洹水列陣，準備和高歡決戰，想一舉攻滅這個“忘恩負義”的“賊子”和他手下的六鎮降附兵士。
高歡派封隆之留守鄴城，親自率兵馬屯兵紫陌。其時，高歡戰馬不滿兩千，兵不過三萬，而敵兵有二十萬之眾。眾寡不敵情勢之下，高歡用牛驢連係在一起堵塞自家軍隊的退路，在韓陵一帶擺成圓陣，兵無退路，都有必死之心。
兩軍交戰在即，爾朱兆立馬於陣前責罵高歡反叛爾朱氏。
高歡此刻理不虧辭不窮:“本來我是想和你們一起共同輔佐皇帝，現今天子何在?”
爾朱兆策馬言道:“永安王(被殺的孝莊帝即位前的封號)枉殺太原王(爾朱榮)，我為報仇才做出這樣的事。”
高歡大聲叱責:“從前我們一同在爾朱榮帳下，你勸他造反的事我都清楚。況且，帝王殺大臣，何報之有?今天我和你恩斷義絕!”
言畢，兩軍交戰。高歡自領中軍前突，大將高敖曹將左軍，高歡堂弟高嶽將右軍。高歡中軍迎戰不利，被逼後退。爾朱兆軍直撲而來。高嶽率五百騎兵突前迎敵兵，高歡另外一個將領斛律敦收拾敗退四散的兵士重整旗鼓從爾朱兆後麵又撲上去，大將高敖曹自率一千多騎兵橫擊而入陣中，爾朱兆軍大敗。敗逃之際，爾朱兆對慕容紹宗捶胸大叫:“不用公言，以至於此。”
爾朱家族四散奔逃。本來就首鼠兩端的大都督斛斯椿等人搶先一步回到洛陽，盡殺留守的爾朱氏黨羽。爾朱世隆、爾朱度律、爾朱天光相繼被俘斬。
為爾朱氏所立的節閔帝派人慰勞高歡。此刻，高歡覺得自己從前所立為帝的安定王枝屬疏遠，就派屬下魏蘭根前去觀察節閔帝為人如何，準備重新迎立他。
魏蘭根認為節閔帝神采高明，恐怕日後難以挾製。高乾兄弟及其他手下也勸高歡說節閔帝是爾朱氏所立，其名不正，勸高歡廢掉他。高歡就把節閔帝幽禁在寺廟中。
挑來揀去，選中平陽王元修。當時元修正躲藏在和他關係不錯的散騎侍郎王思政那裏，突然見到王思政帶高歡屬下人馬找他，嚇得麵無人色:“您是把我出賣了吧?”
思政說不是。
又問:“能保我一命嗎?”
思政答:“世事變化無常，我真的說不準。”
元修被四百騎兵擁夾在中間，到高歡大帳中。高歡下拜陳述衷由，淚下沾襟，元修回拜，表示不敢。王爺這時才知道不是要殺他，而是要立他為帝。安定王手寫的禪位表已經遞到他手中，於是簽字同意。元修成為皇帝，是為北魏孝武帝。
五月，魏朝鴆殺節閔帝(時年三十五)，又殺曾經為帝的安定王元朗、東海王元曄業。可憐這些龍子龍孫，完全成為武將權臣們手中的“物”，想用就用，用完後就扔掉殺了省心。不久，又殺孝武帝的叔父汝南王元悅，因為他“位屬逼迫”，大有當皇帝的可能。
魏朝孝武帝納高歡女兒為皇後，高歡成為國丈。
轉年，爾朱家族最後一個漏網之魚爾朱兆在秀容兵敗，被逼自縊。爾朱氏最後一個釘子被拔掉。爾朱兆大將慕容紹宗攜爾朱兆妻子及餘眾歸降，高歡以其忠義，待其甚厚。他深知“各為其主”的道理，並未因從前慕容紹宗向爾朱兆進言要殺自己而計前嫌。