另外遷居北鎮的原漠北高車人、匈奴人等其他少數族人，包括部分漢族豪族也受鮮卑風俗的影響（鮮卑化），也被當時人一樣看成是鮮卑人，他們構成東魏及隨後北齊政權的政治基礎，而高歡本人居住的懷朔鎮人則成為其核心。
在東魏、北齊政治中，鮮卑勳貴長期在政權中處於支配性地位，高氏與鮮卑勳貴竇氏、尉氏、厙狄氏、斛律氏、段氏長期連姻，更使其勢力根深蒂固。
雖然高歡起兵後也有大批河北漢族豪強紛紛加入其麾下，但是因為鮮卑人全民皆兵，鮮卑軍人的數量遠遠超過漢族軍人，加上高歡非常倚重鮮卑騎兵的作戰能力，導致從東魏建立開始大部分的軍權就掌握在鮮卑貴族的手裏。
在攻略河北地區時，高歡為了取得本地士族豪強的支持，先後與趙郡李氏、範陽盧氏聯姻，讓自己的兒子娶了一部分士族的子女，這其中就有文宣帝高洋的皇後李氏，也就是如今在位的北齊皇帝高殷的老娘，如今該稱作李太後了。
不過一些漢族士族與高氏的聯姻，並不能改變當時東魏控製下漢族百姓的悲慘遭遇，因為高歡對鮮卑人軍事力量的倚重，北齊的鮮卑人不需要用繳納任何稅賦成為事實上的特權階層，於是北齊治下的普通漢族百姓就承擔了當時全部的稅收壓力。
東魏剛建立的時候因為高歡對鮮卑武人的縱容，在社會生活中占據特權階層的鮮卑兵士常常欺淩漢族百姓，導致鮮卑人與漢族百姓之間的矛盾極其尖銳，雖然高歡也試圖平息兩者之間的矛盾，但是根本無濟於事。
另外鮮卑勳貴和漢族豪強之間的矛盾也非常尖銳，雙方之間的鬥爭隨時都可能發生，不過其主要表現為在北齊朝堂上的鬥爭。
高歡為拉攏漢族豪強任用了一大批漢族官員，他們與鮮卑貴族之間的政治權力鬥爭異常激烈，往往是兩敗俱傷的局麵，這種形勢一直延續到北齊滅亡。
曆經東魏、北齊的近五十年中，政治上擁有特權的鮮卑貴族一直蔑稱漢人為狗漢、一錢漢，這一切讓當時的漢族官員痛恨異常。
民間的漢族百姓尤其是漢族世家大族，仍懷念孝文帝及其在位時實行文治的北魏政權，也因此更加擁護‘魏’的法統。
當執掌西魏大權的宇文泰以‘魏’的旗號相號召、厲行改革、國力蒸蒸日上時，東魏、北齊境內頻頻有世族豪強舉兵響應西魏的事件發生，這也是為什麼高歡和高澄沒有和弟弟高洋一般即位稱帝的原因。
由於高歡創立東魏政權時並沒有得到整個社會的支持，因此在討伐宇文泰的數次大戰時反而被當時不管是兵力還是國力都遠遠弱於東魏的西魏所擊敗。
高歡死後高澄開始重用漢族高官大力打壓鮮卑貴族，可是高澄隨即便被家奴所殺（個人覺得太巧合了），年齡還不到二十歲的文宣帝高洋成為了當時東魏的掌權人。
高洋上位後又在鮮卑勳貴的催促下，將高澄重用的漢族大臣崔暹、崔季舒等人紛紛流放，不久北齊就在鮮卑勳貴厙狄幹、斛律金、可朱渾道元等和高氏子弟的擁戴下建立起來了。
一開始的幾年高洋確實倚重鮮卑勳貴，可是隨後高洋便開始發現鮮卑勳貴因為無人製約驕橫非常，於是高洋又重新將被流放的崔季舒、崔暹等漢族官員召回，並且予以重任。
高洋更是寵信楊愔、燕子獻、鄭子默等漢族官員，還將自己的幾位妹妹許配給他們，於是北齊朝中的大部分漢族官員紛紛團聚在楊愔等人的周圍，與北齊的鮮卑勳貴鬥了個不亦樂乎。
不過不管漢族高官和鮮卑勳貴之間怎麼爭鬥，在高洋在位期間，總體來說兩者各有勝負保持著一種微妙的平衡，可是等到文宣帝高洋去世太子高殷即位後，這種平衡就迅速被打破了。
高殷的生母李太後是出自河北趙郡李氏的漢族女子，趙郡李氏是當時數得著的士族高門，一直到隋唐初年都是排名在楊堅、李世民等人家族之前的頂級士族，甚至連唐朝的皇族要和他們聯姻都不願意。
這麼一位頂級士族出來的女子當然也是一位才女，高殷因為自幼隨母親飽讀漢學，心裏不自覺間就偏向了楊愔等漢族官員，加上楊愔、燕子獻、鄭子默等人也是高殷的姑父，高洋去世前的托孤大臣，也非常得高殷的信任。