降職去做官看似結局也不錯，可其中大有門道。若是被貶在富庶之地也能過得舒服，可廣東本就貧瘠，就連應該有所發展的漁業也是半死不活的，更麻煩的是海賊作亂，總之是個是非之地，平常人等避之不及，所以朝廷最愛往兩廣，苗疆，或者遼東遼西，大漠邊疆貶官了，明說貶職，實則發配，就是這個道理吧。
李賢這人看似是徐有貞的屬下，又與石亨交情頗深，奪門之後石亨曾保舉李賢為吏部尚書，不過李賢推辭了。早在奪門政變之前，李賢曾拜會過盧韻之，表示欲以和盧韻之結盟，當時盧韻之故意做出嗤之以鼻的神態，問道：“你有何資本與我結盟。”
李賢扯開衣襟，露出胸膛，雖為書生但豪氣雲天的叫道：“憑我的一腔熱血和心中的正道。”
盧韻之連忙拱手賠罪，宴請李賢並宣稱於謙未除希望李賢能歸於暗處，李賢欣然答應，雖然之後並未幫上盧韻之什麼忙，但是兩人秘密交談的次數倒也頗多。李賢與徐有貞石亨等人不同，他不是個弄權之人，但並不代表他沒有弄權的能力，他隻是不願意如此。他與盧韻之一樣敬重於謙，但與於謙政見不同，其中又與盧韻之不一樣的是，他與於謙私交不太好。
若是說盧韻之和於謙屬於英雄同世不能相容，但是惺惺相惜。那李賢則是對於謙有天生的厭惡，他敬重於謙的是那忠君愛國之心，鞠躬盡瘁的態度，但是討厭於謙的則是他的處事方法和作為忠臣的作為。臣，輔佐帝王也，不易蓋於主上。而於謙則明顯淩駕於朱祁鈺之上了，而後朱祁鈺身體不好，李賢主張朱祁鎮複位，於謙則是希望立藩王為皇，最差也得讓朱見深當皇帝，總之就是不允許朱祁鎮複位。
李賢總是在想，忠臣不是這麼做的，如此做來，大明那裏還是朱家的大明，簡直是於謙的大明了，不管於謙是不是為天下萬民考慮，或者是為了敵對盧韻之，總之這樣做實在不妥，立藩即是擾亂血脈禍亂朝綱，實在難以讓於謙接受。
奪門之變前夕，李賢曾經矛盾過，因為他既想參與這場他看來是忠臣的行動，又不願與曹吉祥徐有貞石亨等弄權小人一起起事，落個同流合汙的下場。
正當李賢惆悵萬分的時候，盧韻之主動找到了他，告訴他了奪門政變的全盤計劃，並且表明不讓李賢參與奪門之變，還表示奪門之後那些利益熏心參與奪門的小人，盧韻之他要一一處理，到時候才是李賢真正大展拳腳的時候，所以現在隻能隱與官場，做一個旁觀者，否則一旦成了奪門的功臣，到時候真處理就難善其身了。
李賢沒有參與奪門之變，但是徐有貞和石亨成功後都想到了李賢，並把他看做自己的死黨，所以李賢在徐有貞的幫助下進入了內閣，而石亨則是保舉李賢出任吏部尚書。李賢接受了徐有貞的橄欖枝，婉轉的決絕了石亨，石亨並不生氣，反倒是認為李賢是個人才，並沒有因為高官厚祿而動心，淪為自己的走狗，從此石亨把李賢當成平等的朋友對待，甚至一些機密的事情也不避諱的講給李賢聽。