靠玩弄權術竊取相權的李林甫，始終擔心自己會被取而代之。所以，“凡才望功業出己右及為上所厚、勢位將逼己者，必百計去之；尤忌文學之士，或陽與之善，或以甘言陰陷之。”
一天，玄宗陳樂於勤政樓，垂簾觀望。兵部侍郎盧絢垂鞭按轡，經過樓下。盧絢風標清粹，玄宗目送良久，並“深歎其蘊藉”。李林甫經常“厚又金製賂上左右”，玄宗的舉動必有人向李林甫通告。李林甫聞知此事後，擔心盧絢會受到玄宗的重用，決意設計阻撓。翌日，李林甫召見盧絢之子，說：“尊君素望清崇，今交、廣藉才，聖上欲以尊君為之，可乎？若憚遠行，則當左遷；不然，則以賓、詹分務東洛，亦優賢之命也，何如？”盧絢害怕去交、廣邊遠之地任職，上書請求派往賓、詹。李林甫“恐乖眾望”，派其為華州刺史。盧絢到任不久，李林甫又“誣其有疾，州事不理”，被授太子員外詹事。盧絢並沒與李林甫有隙，隻因玄宗對其表示出欣賞之意，便平地起風波，中李林甫之計自尋遭貶，爾後便屢遭壓製，直至被冷落在一邊。李林甫害怕別人與己競爭，居然連皇帝讚譽他人一句都怕得要命，可見其心虛到何種程度。
不久，玄宗又向李林甫問起嚴挺之的情況，說：“嚴挺之今安在？是人亦可用。”嚴挺之原為中書侍郎，早年被李林甫排擠出京，現做繹州刺史。李林甫深懼嚴挺之。恐其重返京都，便召見嚴挺之的弟弟嚴損之，說：“上待君兄意甚厚，蓋為見上之策，奏稱風疾，求還京師就醫。”李林甫虛假地以關心嚴挺之的麵孔出現，唆使嚴挺之為其兄上奏謊稱有病請求歸京治疾。嚴挺之毫無戒備之心，反倒非常感激，並且依計行事，實際上是跳進了李林甫設下的陷阱。李林甫手持嚴挺之的奏表，對玄宗說：“挺之衰老得風疾，宜且授以散秩，使便醫藥。”不知究裏者，誰都會覺得李林甫言之有理：既已衰老，且染風疾，給個閑官便於治病，又歸京都，豈不在情在理？！玄宗聽後，“歎叱久之”，隻好授以詹事，令其“東京養疾”去了。李林甫就這樣將嚴挺之擠於朝廷之外。
凡是玄宗意欲重用之人，李林甫都要加以壓製和打擊。汴州刺史、河南采訪使齊瀚，“亦朝廷宿望”。故被李林甫忌之，亦與嚴挺之一樣，落個“東京養疾”的下場。
天寶元年（742年），秋七月，牛仙客死。八月，以刑部尚書李適之為宰相。李林甫視其為競爭對手，便伺機加害。利用李適之性情疏率的特點，李林甫對其言道：“華山有金礦，采之可富國，主上未知之也。”隔了幾日，李適之便將此事上奏玄宗。玄宗非常高興，又問及李林甫。李林甫說：“臣久知之，但華山陛下本命，王氣所在，鑿之非宜，故不敢言。”玄宗聽了，以為李林甫對自己忠心耿耿，而李適之“慮事不熟”，便對其說：“自從奏事，宜先與林甫議之，無得輕脫。”李適之從此便束手，漸漸被玄宗所疏遠。李適之所奏，乃是受李林甫慫恿，而李林甫則又在玄宗麵前一番花言巧語，將李適之陷於被動地位。