他規定他的部隊不許搶老百姓的東西，行軍路過老百姓麥田，都要下馬，步行牽馬而過。高歡也對漢族百姓勸解道：“鮮卑人是你們的雇工，得到你們的一斛米一匹絹，為你們擊賊，令你們安寧，你們為何要嫉恨他們呢？”
高歡的政策使當地的民族矛盾有所緩解，他既牢牢地控製了六鎮這隻軍隊，又在河北站穩了腳跟，開始公開與爾朱兆較量。532（永熙元年）正月，高歡攻占了鄴城，爾朱氏急忙集中二十萬兵力，爾朱兆、爾朱天光、爾朱度律、爾朱仲遠會集到鄴，與高歡在鄴城附近的韓陵進行決戰。當時高歡的戰馬不到二千，步兵不滿三萬，但卻大敗爾朱氏。爾朱度律、爾朱天光、爾朱世隆、爾朱彥伯等被處死，爾朱仲遠逃到南梁。爾朱兆逃回北秀容，被逼自殺。到533年（永熙二年），爾朱氏勢力全部被消滅。高歡進入洛陽，殺掉爾朱氏所立的節閔帝元恭，另立元朗為帝，不久，又殺元朗，立元修為帝，即孝武帝。封高歡為大丞相、天柱大將軍、太師、世襲定州刺史。封高歡子高澄為侍中、開府儀同三司。
534年（永熙三年），孝武帝元修與高歡之間的矛盾日益激化，元修不再願做高歡手中的傀儡，偷偷地逃到長安，投入到關中軍閥宇文泰的懷抱。孝武帝的出走，增加了關中軍閥宇文泰的聲勢，高歡失去了政治上的招牌，吃了虧。他屢次請求孝武帝回來，孝武帝不願意，也不敢回來。這時的元氏作為皇族，還有一定號召力，高歡覺得自己稱帝的時機還不成熟，沒辦法，隻好另立一個傀儡皇帝元善見，即孝靜帝，把都成遷到鄴城，曆史上稱這個政權為東魏。第二年（535年），宇文泰在長安立南陽王元寶炬為帝，成立西魏政權，北魏正式分為東魏和西魏，北方再度陷入分裂。
宇文泰，字黑獺，世代居住在武川鎮，是個鮮卑化的匈奴人。他的青年時代是在戰爭中渡過的。六鎮起義後，他參加了起義軍，後來投靠爾朱榮。530年（永安三年），宇文泰以部將的身份隨賀拔嶽進駐關中地區，鎮壓關隴起義。在經營關中過程中，賀拔嶽發現宇文泰不僅英勇善戰，而且足智多謀。他頭腦冷靜，思想深邃，善於分析形勢，做出判斷，並提出許多好的計謀和建議，使賀拔嶽在關中打開局麵。宇文泰逐漸地成為賀拔嶽的心腹，賀拔嶽派他駐守戰略要地統萬城。534年，賀拔嶽被謀殺，宇文泰被北鎮軍人推為領袖。宇文泰在此基礎上，以長安為據點，建立了西魏政權。
東魏和西魏二分了北魏天下，但東魏無論是地盤上還是實力上，都遠遠大於西魏。東魏不能容忍西魏的存在，總想依仗自己力量的強大，消滅西魏。西魏為保全自己地盤，擴大發展自己的勢力範圍，也不停地與東魏作戰，所以東、西魏自從建立之日起，便戰火不斷，其中最著名的戰役有沙苑之戰和玉璧之戰。
537年（西魏大統三年），宇文泰出潼關，攻占弘農（今河南靈寶縣東北），高歡聞知後，親率二十萬軍從蒲津（在今山西永濟縣蒲州鎮與陝西大荔縣朝邑鎮之間黃河上）渡黃河，涉洛水，到達了許原（今陝西大荔縣南）他要截斷宇文泰的歸路，然後攻占長安。
宇文泰聽到消息後，發現情況不妙，立即放棄弘農，回師渭水，扼住通往長安的要道。他知道，自己的軍隊必須在高歡軍隊渡過渭水之前與他們決一死戰，高歡一旦渡過渭水，後果將不堪設想。當時宇文泰與高歡軍隊數量相差懸殊，宇文泰隻有一萬軍隊，而高歡有二十萬大軍，宇文泰部下將領擔心寡不敵眾，信心不足。宇文泰給他們分析形勢說：“目前的危險是耽誤時間。如果放高歡入長安，人心大亂，我們將一敗塗地。現在高歡軍隊遠來疲憊，人生地疏，還沒有站穩腳，正是我們進攻他們的大好時機。”
他命令全軍隻備好三天糧草，然後渡過渭水，悄悄地在東魏軍駐地六十裏外的沙苑（今陝西大荔南洛、渭二水之間）安營紮寨。字文泰在眾將領集思廣益的基礎上，製訂了一個非常大膽的作戰方案。這就是揚長避短，不同敵人在平原上交鋒。沙苑東十裏有個叫渭曲的地方，是一片蘆葦茂密、土地泥濘的河灘，將西魏的主力背水埋伏在這裏，以鼓聲為號，進行伏擊戰。字文泰則親率少數人馬做誘餌，把東魏的軍隊引到這裏。