原屬節閔帝臣下、又搶奔回洛陽殺光爾朱氏黨羽的斛斯椿見到高歡勢力強大，心中很不舒服，他與南陽王元寶炬，武衛將軍元毗和王思政一同勸說孝武帝除掉高歡。
斛斯椿重新安排宮內都督人選，增加侍衛人數，選出數百驍勇武士擔任孝武帝的近衛軍。皇帝又多次以出獵為名，與斛斯椿排兵步陣，互相密謀。又派人與在外擁兵的賀拔嶽、賀拔勝兄弟暗中聯絡，準備內外響應。
魏朝司空高乾本是高歡的死黨，孝武帝想收買高乾以為己用，借一次在華林園宴飲的機會忽然要與高乾拜盟結為兄弟。由於事出忽然，高乾來不及多想，表示自己“以身許國，不敢有二心”。而後見到孝武帝增加武衛，又屢屢交結外臣賀拔嶽等人，知道事變即將發生，暗中勸高歡準備。高歡把高乾召至並州麵議，高乾就勸高歡自立為帝。
高歡當時覺得時機還不成熟，裝出非常害怕的樣子拒絕了高乾的提議。高乾進退兩難，猜不透高歡的心思，在朝廷裏夾在兩派之間很難受，於是密啟高歡要求外派，被任命為徐州刺史。孝武帝獲悉高乾要外任為官，害怕他泄漏自己密圖高歡的事，就先發製人，詔告高歡說高乾與自己立過盟誓，反複兩端。
高歡得知高乾與孝武帝盟約一事也很生氣，就把高乾勸自己稱帝的事通知給魏帝。這下倒好，高歡和孝武帝兩個人聚在一起，把高乾召至殿上質問。高乾被雙方所賣，這位自少就“性明悟、俊偉有智略”的河北豪傑也無計可施，說:“陛下您自立異圖，現在反過來說為臣我反複。人主加罪，無話可說!”
高乾被賜死。孝武帝又派人去殺高乾的弟弟高敖曹。高敖曹劫奪誅殺自己的敕令，帶領十幾個人奔晉陽投奔高歡。高歡與他抱頭痛哭，大叫“天子枉殺高司空”。高乾另一個弟弟高行密也投奔高歡。借皇帝之刀殺人之兄，而又能獲得被殺者二弟的尊信，高歡手腕之高，由此可見一端。
534年，魏孝武帝準備率軍攻伐駐紮在晉陽的高歡，下詔戒嚴，聲稱要南伐梁國。又和斛斯椿征發河南諸州兵馬，在洛陽近郊進行大閱兵。為了麻痹高歡，他密詔給高歡說要帶兵攻打關西的宇文泰和賀拔勝。
高歡何等人，他馬上回複，說自己屬下五路兵馬共二十二萬已出發，助援皇帝征討，並清除朝中奸佞，實際上是講明了我已帶兵趕赴洛陽要和你爭個高下。
此時，孝武帝不得不和高歡攤牌，他令中書舍人溫子升以自己名義給高歡寫了一封曆史上有名的書信(此位正是為孝莊帝草詔誅殺爾朱榮的那位爺，他的才華，公認是北朝第一。高歡日後確實沒有怪罪他，還給他官當，很像當年曹操欣賞陳琳罵絕自己祖宗八代檄文那樣的胸懷。高歡死後，兒子高澄上台後懷疑溫子升與叛亂有染，在讓他撰完《神武碑》後，關進晉陽大獄，不給飯吃，餓得這位大才子直吃自己棉襖裏麵的棉花，活活餓死)。書信內容如下:
朕不勞尺刃，坐為天子，所謂生我者父母，貴我者高王。今若無事背王，規相攻討，則使身及子孫，還如王誓。……近慮宇文為亂，賀拔應之，故戒嚴，欲與王俱為聲援。今觀其所為，更無異跡。東南不賓，為日已久，今天下戶口減半，未宜窮兵極武。朕既暗昧，不知佞人為誰?頃高乾之死，豈獨朕意。王忽對昂(高敖曹名昂)言其兄枉死，人之耳目何易可輕!如聞庫狄幹語王雲:“本欲取懦弱者為主，無事立此長君，使其不可駕禦，今但作十五日行，自可廢之，更立餘者。”如此議論，自是王間勳人，豈出佞臣之口!去歲封隆之叛，今年孫滕逃去，不罪不送，誰不怪王。王若事君盡誠，何不斬送二首。王雖啟雲“西去”，而四道俱進，或欲南度洛陽，或欲東臨江左，言之者就應自怪，聞之者寧能不疑!王若晏然居北，在此雖有百萬之眾，終無圖彼之心;王若舉旗南指，縱無匹馬隻輪，猶欲奮空拳而爭死。朕本寡德，王已立之，百姓無知，或謂實可。若為他人所圖，則彰朕之惡;假令還為王殺，幽辱齏粉，了無遺恨!本望君臣一體，若合符契，不圖今日，分疏至此!古語雲:“越人射我，笑而道之;吾兄射我，泣而道之。”朕即親王，情如兄弟，所以投筆撫膺，不覺唏噓。