魏孝武帝果然是才出虎穴，又入狼口。史載孝武帝閨門無禮，有堂妹三人皆不令出嫁，名義上封為公主，實際上在宮中充當嬪妃。其中一個平原公主元明月最受他寵愛。宇文泰慫勇西魏元姓諸王把平原公主從孝武帝身邊搶出來殺掉，以消亂倫之醜。
孝武帝恨恨不平，美人被奪，悲憤可知，他不時在宮內彎弓搭箭，或以刀砍擊桌案，宣泄不平，言語之間也掩飾不住對宇文泰的恨意。宇文泰在皇帝身邊耳目甚多，聞此也做事幹脆，派人把毒藥放進孝武帝的酒裏，毒死了這位很有主見的皇帝，時年二十五歲。隨之，他立平原公主的親哥哥元寶炬為帝。
宇文泰，字黑獺，是鮮卑化的匈奴人。其父宇文肱最早是六鎮叛軍中鮮於修禮的將領。其父戰死唐河後，宇文泰又加入葛榮軍。爾朱榮擊滅葛榮後，喜歡他的驍勇善戰，授他為統軍一職。高歡滅爾朱氏後，他受賀拔嶽之托去並州查看虛實，高歡見他身長八尺，垂手過膝，相貌非凡，想留下他為自己效力。宇文泰固請返軍複命，高歡猶豫中允許他回去。過後馬上反悔，想殺掉宇文泰以絕後患，追至關口也未趕上，正如項羽不殺劉邦、曹操放走劉備、桓玄容納劉裕，最終養虎貽患。宇文泰之後最終滅掉了高歡之後。
高歡換掉皇帝後，又覺洛陽西近西魏，南近梁國，就決定遷都鄴城。命令下達後，三日即行，四十萬戶民眾狼狽就道。又任命司馬子如為尚書左仆射(此人就是爾朱榮被殺後不顧妻子隨爾朱榮一家逃跑的那位流氓文人。他當時還勸爾朱世隆反攻洛陽，魏孝武帝之死，究其根由，實賴其成)，高隆之為右仆射，高嶽為侍中，孫滕留守鄴城，共執朝政。
536年，高歡率大軍造三座浮橋，在蒲阪準備搶渡黃河。第一次東西魏大戰--小關之戰拉開序幕。
宇文泰確實是兵中奇才，他對諸將說:“高歡三麵圍住我軍，搭建浮橋表示他要過河進擊，實際上是想吸引我軍的注意力，使竇泰從西進軍兩麵夾攻我們。竇泰是高歡的一員驍將，屢戰屢敗，將士必起驕心，我們發奇兵先擊竇泰，高歡則不戰而勝。”諸位將領都不以為然，認為高歡近在眼前，不戰不防反而掉頭擊竇泰，萬一出了差錯會全軍覆沒。
宇文泰的族侄宇文深與他意見相同，認為如果在蒲阪迎擊高歡軍，竇泰肯定乘機從反麵撲來，雙方夾擊下一定會失敗。他建議選精銳兵騎直出小關(在潼關之左)，竇泰性急必來赴戰，而高歡行事謹慎，肯定觀望，戰勝竇泰後再回擊高歡，敵軍可破。
果然，西魏軍突至小關，竇泰猝不及防，引兵赴陣，宇文泰從馬牧澤中殺出，大破竇泰，東魏兵死傷殆盡，竇泰自殺。
由於黃河冰薄，人兵輜重無法過去，高歡隻能撤毀浮橋回軍。西魏軍從後追擊，高歡殿後的大將薛孤延一戰之中砍壞十五把鋼刀，戰事異常慘烈，最終才保得高歡一行人逃脫。雙方第一次交手，以高歡失敗告終。
高歡另一路人馬高敖曹進軍順利，從商山出發所向無前，在他率兵猛攻上洛時，被流矢射中，遍體鱗傷，其中三處是貫穿傷，死而複蘇。為安慰軍心，他馬上跳起來騎馬免胄巡城，大大鼓舞了士氣，攻陷上洛城。城克之後，他躺在帳篷中療傷，感覺自己要死掉，歎息道:“遺憾的是不見弟弟高季式當刺史。”高歡聞言，馬上任命高季式為並州刺史。
高敖曹是死於孝武帝和高歡兩個人權謀的高乾的三弟，名昂，以其字敖曹知名於當世。此人龍眉豹須，姿體雄異，自少年時代起就桀驁不馴，招聚劍客四出劫掠。《太平廣記》中載有其詩三首，其中《征行詩》:“龍種千口羊，泉連百壺酒。朝朝圍山獵，夜夜迎新婦。”可以想見他年青時放蕩不羈的生活。爾朱榮惡其英武，一度把他誘捕關在洛陽。孝莊帝殺掉爾朱榮後，知道高氏兄弟英豪，於黃河邊親自送他們還鄉招集部曲。高敖曹意氣慷慨，臨行舞劍，以示效死之心。
孝莊帝被害後，他投奔高歡，大破爾朱氏。後來孝武帝殺掉他哥哥高乾，又派人殺他，他率十餘騎奔赴晉陽歸高歡。高歡引以為大將，南征北討，立功很多。小關之戰後，高敖曹全軍而還，被授為軍司大都督，統七十六都督。
當時，高歡屬下以鮮卑將領為主，都輕蔑漢人，唯獨懼怕高敖曹。高歡在號令手下大將時，常常用鮮卑語發號施令，但隻要有高敖曹在側，他一定改用漢語講話。鮮卑將領劉貴與高敖曹不和，有一次兩個人同在一處議事，下麵有人家報告治河役夫好多人淹死，劉貴故意說:“性命隻值一文錢的漢人，隨他們死!”高敖曹聞言大怒，拔刀就砍劉貴。劉貴奔逃還營，高敖曹隨之鳴鼓召集屬下，勒兵欲攻，最後經別人勸了好久才罷手。又有一次高敖曹與北豫州刺史鄭儼祖玩握槊遊戲(一種棋類)，劉貴派手下召鄭儼祖商議軍事。高敖曹不讓鄭儼祖走，並派兵把劉貴的使者用木枷夾住站在一旁呆著。劉貴的鮮卑偏將恃勢驕橫慣了，在旁跳腳喊:“枷則易，脫則難。”高敖曹聞言，從隨從手中抽出一刀，往此人脖子上猛勁一抹，說:“又有何難!”人頭落地。劉貴聞知後也不敢過來理論。還有一次高敖曹去大丞相府拜見高歡，門口護衛不讓他進去，他兜轉馬頭，彎弓搭箭，回手射殺門卒。高歡聞知後也不怪罪……由此可見，高敖曹在高歡心目中的位置是何其重要!
高歡深知屬下鮮卑士兵與漢人之間的矛盾。他左右逢源，對鮮卑人講:“漢人是你們的奴仆，男人為你們耕作，女人為你們織衣，上交粟帛賦稅讓你們溫飽無憂，為什麼還要欺淩他們呢?”又對統下漢人講:“鮮卑人是你們雇傭的兵客，得到你們一些衣物吃食，為你們防盜擊賊，能保你們安寧度日，幹嗎那麼恨他們呢?”
對於迂腐不知變通的漢族大臣，他也想方設法予以說服。一次高歡要出門打仗，一名叫杜弼的大臣請求高歡出征前先消除內賊。高歡問內賊是什麼人。杜弼說是那些掠奪百姓的鮮卑貴族。高歡沒有立刻予以作答。他下令營中軍士都搭弓上箭，高舉大刀，握鞘向前，夾道層層而立，接著命令杜弼在行列中來回走動一次。杜弼是個書生，哪裏見過這種陣勢，嚇得渾身哆嗦，冷汗直流。
見此，高歡對杜弼說:“雖然搭箭不射，持矟不刺，舉刀不砍，你都被嚇得失魂落魄。諸位勳貴將領在戰場上衝鋒陷陣，百死一生，雖然有人或許有貪汙冒搶的行為，但與他們平時的戰功相比，怎能相提並論?”杜弼跪地頓首，為自己冒失的舉諫表示道歉。一舉兩得，既堵住了諫官的嘴，又收買了鮮卑軍士的心。
537年，高歡自己帶兵二十萬自壺口出發趕往蒲津。第二次東西魏大戰(河苑之戰)開始。
宇文泰由於關中旱災大饑，帶著不到一萬的軍馬在恒農穀倉休整了五十多天，好容易才讓餓得幾乎皮包骨的軍士歇緩過來。聽說高歡渡河來戰，趕忙入關準備。
高敖曹帶三萬兵馬把恒農團團圍住。高歡的參謀勸說道:“西魏賊兵連年饑荒，所以冒險到陝州來搶倉粟糧食，現在高敖曹已經圍住恒農糧倉，糧食運不出去。我們最好分兵諸道，不與敵兵接戰，等到麥秋時分，敵方軍民餓死大半，宇文泰不死也得投降。所以我們最好別渡黃河。”
大將侯景也勸告，“我軍幾十萬士兵一舉前來，萬一不勝，一時難以集結兵馬。不如把大軍一分為二，相繼而進。前軍若勝，後軍全力攻上;前軍若敗，後軍可以接應，到時作為後備隊出擊迎敵。”
高歡對這兩條意見都沒有聽進去，自蒲津渡過黃河前進。
宇文泰到了渭水南岸，征召的諸州兵馬都沒有到位。他手下諸將以為眾寡懸殊，建議待高歡軍隊再往西行後才出兵相會。
宇文泰堅持不可，“高歡如果到了長安，肯定人情民心全都會降服於他。現在趁他遠來新到，正好一舉可以擊破。”於是造浮橋渡渭河，令軍士精裝帶三天糧食，距高歡軍六十裏屯軍。又派手下將領達奚武帶三個騎兵化裝成東魏軍士，傍晚混入高歡營內偵知軍中口令，昂首揚鞭，假裝成督察官，各個軍營都轉了一圈，看見有衣冠不整或不遵法紀的高歡兵士，還上前舉鞭亂打一頓，轉了個通宵，查明高歡軍中一切部署後才返回營中複命。
高歡得知宇文泰兵到，引兵會敵。
宇文泰手下李弼認為敵眾我寡，不能平地置陣，可在十裏以外渭曲長滿蘆葦的沼澤地埋伏。宇文泰覺得此計可行，命令軍士都偃旗息鼓，埋伏在蘆葦叢中，聽見鼓聲就一齊衝出。