問題不是出在崔暹身上，而是出在高慎的第二任妻子李氏。李氏出身不詳，但從李氏“豔而慧”的良好修養來看，應該出於一流豪門隴西李氏或趙郡李氏。李氏擁有驚人的美貌，高慎得到了這位大美女，是上輩子修來的好福氣。
一個顛撲不破的真理：美女容易被色狼盯上。
在高慎抱著嬌妻享受魚水之歡的時候，有一雙色迷迷的眼睛一直盯著李氏。
這位流著三尺長口水的大爺，就是高歡的大公子高澄。
高澄好色，在東魏官場是出了名的，雖然高澄在十二歲那年就娶了孝靜帝的妹妹馮翊長公主，但這廝一直沒改掉饞嘴的毛病。隻要看到美女，高澄的眼就直了，不弄過來嚐嚐鮮，高澄是絕不罷休的。關於這一點，高歡的愛姬鄭大車可以證明，高澄被高歡抽腫的屁股同樣可以證明。
高澄第一次見到李氏的時候，他的口水就沒停過，雖然他知道李氏是高慎的女人，但這又如何，高澄想要，這就足夠了。高澄開始了想辦法靠近李氏，並在一個他認為適合的場合抱住李氏，企圖強奸這個美麗的女人。
讓高澄沒想到的是，李氏對他並不感冒，拚命反抗，二人扭打成一團，雞毛亂飛。
高澄可能是因為太年輕了，力氣不夠，他撕破了李氏的衣服，而自己的臉上也留下了一個美麗而鮮豔的掌印，這是李大嫂賞他的。
高澄最終沒有實現強奸李氏的美好願望，被李氏掙紮著跑掉了，高澄呆呆地坐在地上，氣喘籲籲地大罵李氏不中抬舉。不過高澄對此並沒有放在心上，即使他知道李氏肯定會把這件事情告訴高慎，高慎又能把自己如何？
高慎做為了一個下屬，麵對老大的兒子對自己老婆進行性騷擾，他隻能裝做什麼都沒有發生過。雖然這件醜事不是高歡做的，但高歡總要落一個“教子不嚴”的罪名，但脾氣暴躁的高慎卻記住了這筆賬。
還有一點，高慎的大哥高乾和三弟高敖曹都已經去世多年，高慎在東魏官場已經沒有了靠山。此時的高慎已經有了改換門庭的想法，原因很簡單：隻要高歡一死，高澄肯定接班，這個小淫棍能放過自己和老婆？另外，還有一個人嫌狗憎的崔暹成天在高澄身邊上竄下跳，以後這日子怎麼過？
高慎如果背叛高歡，隻有兩條路可以選擇：往南投奔蕭衍；往西投奔宇文泰。從李氏被高澄欺負後，高慎請出任北豫州刺史來看，高慎的下一站肯定是宇文泰，而不可能是蕭衍。
如果高慎從虎牢關南逃，距離梁朝邊境太遠，而如果西逃，不遠處就是宇文泰的地盤，安全性更高一些。而且蕭衍和東魏已經和好，如果投奔梁朝，下場和賀拔勝、獨孤信沒什麼區別，萬一蕭衍和高歡達成協議，把自己送回東魏，還有活路嗎？宇文泰和高歡是死敵，投奔宇文泰，不但安全，而且還能得到重用。
高慎坐在虎牢關的城頭上，成天盤算當逃兵，不知道哪個環節出了問題，高歡開始懷疑高慎的忠誠度，並派城防都督奚壽監督高慎的一舉一動。高慎見事情就要敗露，事不宜遲，於東魏武定元年（西魏大統九年，公元543年）二月十二日，設計擊殺奚壽，在虎牢關樹起反旗。
其實高慎也知道，憑虎牢這個彈丸之地，根本不可能抵抗住高歡的進攻。現在高慎唯一的出路不是等宇文泰出兵相救，而是棄城西逃。按照當時製度，官員外任時，家眷都要留在京城當人質，所以高慎沒有帶李氏赴任。現在高慎已經顧不上老婆了，等去關西後再想法把老婆接出來，現在逃命要緊。
隨後，高慎給駐守永安（今山西霍州）的四弟、前代理晉州刺史高季式寫信，勸四弟和自己一起西逃。高季式接到書信後，確實動身起程了，但不是往西，而是往北，狼狽逃回晉陽，向高歡請罪。高歡念其忠誠，釋之不問。
高慎長歎，人各有誌，不能強求。從此兄弟天各一方，自求多福吧。