李適之是個直性人，認準了的事，他不會後退，當即便進宮向唐玄宗陳述理由。他一心一意為了國家，希望能挖出金子來。
見到唐玄宗，李適之說道：“啟奏皇上，黃金是西域的通用貨幣，有了黃金就能購買大量的洋貨。我的奏折說得很清楚了，這是個賺錢的好門道，應該盡早開工。”
唐玄宗說道：“金子雖然很好，但不能損害我們大唐。適之啊，你的心是好的。朕也知道華山有黃金，但不能挖，那裏有大唐的龍脈，挖斷了龍脈可不得了啊。”李適之知道這是無稽之談，立即上奏：“啟奏皇上，不能聽信那些術士的胡說八道啊，大唐的土地都是皇上的，那裏能挖，那裏不能挖呀。您是皇上，隻要皇上說能挖，任何地方都能挖。”
“放肆，皇帝是天子，也有聽從上天的安排。”唐玄宗大聲斥責。李適之還想申辯，唐玄宗很不高興的對他說道：“華山開采金礦不妥，以後這件事不準再提。今後向我遞奏折之前，先跟林甫商議之後再來，不要太輕佻隨便了。”
李適之如墜雲霧之中，對皇上態度的轉變甚是不解。唐玄宗對他擺擺手，自己起身到後宮去了。李適之十分沒趣，退出皇宮。
李適之的表現，唐玄宗十分不滿。他走了之後，李林甫立即向唐玄宗上奏：“啟奏皇上，適之對金礦之事不依不饒，而且對冊立貴妃娘娘也有意見，雖然沒有直接反對，但言行中流露出來的不滿情緒。平時做事古板得很，對皇上不堅持上朝私下也有意見。”唐玄宗說道：“你是說適之不大稱職，對朕有意見。”李林甫說道：“皇上聖明。”聽了李林甫的話，唐玄宗心底下已有換掉他副宰相的念頭。
要換副宰相，總要物色接班的人選，唐玄宗在朝中尋找。李林甫走後，唐玄宗對高力士說道：“慎矜的表現不錯，可作為左相的候選人。將軍認為如何？”高力士說道：“張均兄弟也不錯，皇上要想選準人，就應該多找幾個候選人。如果隻是在京城中選，麵還是窄了點，還可以從調出京城的人員當中，尋找有才能之人。”
唐玄宗眼光突然放亮，當即說道：“你說得不錯，這些年來很多在京城做官的人，被調出了京城，到地方為官，這些人當中，不少人很有才華。嚴挺之很不錯，他很有才華。在張九齡當中書令的時候，他擔任中書侍郎，作為張九齡在中書省的副手，一直與他配合默契，深得張九齡器重。張九齡被貶的時候，他受到了牽連。但因為他辦事幹練，朕不忍心處置他。林甫當首席宰相後，參奏他與張九齡打得火熱，堅持將他貶為洛州任刺史。州改郡之後，又改任陳留太守。現在正要用人，招他到中書省任職，考察一段時間。”
高力士說道：“嚴挺之十分能幹，才能在李丞相之上，做中書侍郎時口碑載道，在洛州幹得有聲有色，當時陳留出了事故，皇上將他調處處理，做得很好，還得到了皇上的讚揚。”“朕想起來了，是有這件事。”唐玄宗對嚴挺之的興趣起來了。第二天親自上朝，朝議人事安排等問題。散場之後他留下李林甫，單獨對他說道：“嚴挺之還在嗎？這個人很有才能，原先在中書省幹得很好，應該重用，如有可能，將他調回京城。”
李林甫說道：“啟奏皇上，嚴挺之在陳留，陛下既然想念他，要調到京城任職，吏部去考查一下，再向皇上上奏。”
回到家裏，李林甫想：‘嚴挺之的能力在我之上，讓他進中書省，經常與皇上接觸，我的地位就危險了，要想個法子，阻止這件事。’他冥思苦想，終於找到了一個損法子。
他立即叫人把嚴挺之的弟弟找到宰相府。裝出十分關心嚴挺之的樣子說道：“你哥哥不是很想回京城見皇上嗎，我倒有一個辦法。”嚴挺之的弟弟見李林甫這樣關心他哥哥，當然很感激，連忙說道：“請教丞相該怎麼辦呢？”
李林甫說：“隻要叫你哥哥上一道奏折，就說他得了病，請求回京城來看病。這樣就能回京了。”
嚴挺之家眷都在長安，因此很想回京城，他不知內情，接到他弟弟的信，真的上了一道奏章，請求回京城看病。李林甫就拿著奏章去見唐玄宗，並且說道：“啟奏皇上，真是太可惜了，嚴挺之現在得了慢性病，身體不太好，繁重的事幹不了啦。中書省的事務太多，擔子太重，他可能挑不起來，不能幹大事了。隻有將他調進京城，給個輕鬆的差事好了。”
唐玄宗看到嚴挺之的奏折，以為嚴挺之真的得了重病，做夢也沒有想到，這是李林甫精心安排的假象。就按李林甫的注意，調他回京，任命他為正議大夫，給了一個正四品的文散官，讓他好好養病。
兵部侍郎盧絢，作風正派，很有潛力。有一天，唐玄宗對李林甫說道：“兵部侍郎盧絢，頗有才氣，雖然年輕，將來可堪大用。”
李林甫聽後，內心很不自在，因為盧絢與他的頂頭上司，兵部尚書李適之關係很好，與李林甫不是同一路人。本來就討厭他，現在聽到皇上讚揚他，李林甫就更不高興了，他認為唐玄宗對盧絢有好感，將來一定會重用他，那樣會威脅到他的地位。
於是先下手為強，他開始想辦法搜集他的反麵證據，要搞掉他。人無完人，任何人，從反麵角度都能找到許多缺點。他指使禦史台向唐玄宗上奏盧絢的錯誤，說他不適合再繼續擔任兵部侍郎。