李林甫處處與張九齡等人唱反調，贏得了玄宗的好感，卻讓玄宗一天比一天地討厭張九齡。朔方節度使牛仙客起初在河西時，節省用度，勤於職守，使河西鎮倉庫充實，器械精良。這件事反映到朝廷，玄宗很欣賞他，想給牛仙客加官為尚書省某部尚書，可能相當於現在國務院某部部長，或許地位還更重要一些。張九齡說：“不行。尚書是古代負責向皇帝提建議的大臣，我們唐朝建立以來，隻有退職的宰相或者在朝廷內外有聲望的人才能擔任。牛仙客出身河湟小吏，現在一下子提拔到朝廷要職，會影響朝廷的聲譽。”
玄宗獎賞邊將，一心要對牛仙客有所表示，又問：“隻給牛仙客加個爵位可以嗎？”張九齡回答說：“也不行！爵位是對立功者的鼓勵，作為邊將使倉庫充實，器械修整，都是分內事務，不算立功。如果陛下認為他工作勤勞，可以賞賜給他金帛，而分封土地賜給爵位，恐怕不合適。”對張九齡的堅持原則，玄宗心裏覺得不舒服。李林甫跟玄宗談起牛仙客，說：“牛仙客有宰相的才幹，任命他做尚書有什麼不好呢！張九齡所說全是書生之見，不識大體。”在玄宗聽來當然還是李林甫的話順耳。
第二天，見到張九齡，玄宗又提起封牛仙客爵位，張九齡像原先一樣極力反對。玄宗臉色大變，一下子惱火了，說：“難道事情都由你說了算嗎？”一看玄宗動怒，張九齡撲通就跪下了，叩頭謝罪，說：“陛下不認為我愚蠢，讓我擔任宰相，我覺得事有不妥，不敢不直言。”玄宗說：“你嫌牛仙客出身寒微，你的門第也不高啊！”張九齡說：“我家在嶺南，出身低賤，不如牛仙客生於中原地區。但是我出入朝廷，職掌朝廷誥命已經多年。牛仙客是邊境地區的小吏，大字不識，如果一下子任命為高官，我擔心眾人會看不起他。”李林甫背後又跟玄宗說：“隻要有才能見識，不一定要什麼學問和文章才華！天子任用人，什麼樣的人不能用！”有了李林甫的讚同，玄宗不顧張九齡的反對，賜給牛仙客隴西縣公的爵位，食實封三百戶，也就是把三百戶農家的租賦作為牛仙客的收入。
當初，玄宗想讓李林甫做宰相時，曾征求過張九齡的意見。張九齡回答說：“宰相的任命關乎國家安危。陛下要讓李林甫做宰相，我擔心將來會成為朝廷的禍患。”玄宗對張九齡的意見不以為然，還是任命了李林甫。那時張九齡因為富於才學而受到玄宗的器重，李林甫雖然記恨，仍然奉迎巴結張九齡。侍中裴耀卿與張九齡關係很好，李林甫也嫉恨他。現在，玄宗在位幾十年，越來越放縱自己的欲望，追求奢侈享受，對政務越來越懶得管。張九齡一看到玄宗有什麼不好，不管大小事都極力論爭。李林甫則巧妙地揣摩玄宗的心意，每天都在尋找機會，在玄宗麵前中傷他。
李林甫推薦蕭炅，於是朝廷任命蕭炅為戶部侍郎。蕭炅沒有學問，有一次跟中書侍郎嚴挺之讀一樣，裏麵有“伏臘”兩字，他竟讀成了“伏獵”。嚴挺之向張九齡抱怨說：“尚書省這樣的中樞機構，怎麼能任命一個‘伏獵侍郎’！”張九齡告訴玄宗，玄宗隻好讓蕭炅出京做了岐州刺史，李林甫開始怨恨嚴挺之。張九齡與嚴挺之關係好，想舉薦嚴挺之為宰相，曾經告訴嚴挺之，說：“李尚書正受皇上恩寵，足下有機會時應該去拜訪他，跟他搞好關係。”當時李林甫以禮部尚書任宰相。嚴挺之這個人清高任性，平常就看不起李林甫的為人，始終不去巴結他，從不到李林甫門上去。李林甫更加記恨他。
嚴挺之前妻嫁蔚州刺史王元琰，王元琰犯了貪汙罪，朝廷交三司審判。唐代負責共同審理重大案件的三個官署刑部、禦史台和大理寺，合稱三司。嚴挺之看在前妻的情分上，為王元琰托人說情，希望能給寬大處理。李林甫讓手下的人向玄宗告發此事。玄宗告訴宰相說：“嚴挺之竟然為罪人說情。”張九齡說：“王元琰的妻子是嚴挺之休掉的妻子，不應該有私情。”玄宗說：“雖然被休掉，卻仍然有私情。”
玄宗覺得既然嚴挺之為王元琰說情是事實，那麼張九齡明顯是袒護嚴挺之。考慮到過去張九齡、裴耀卿常常互相聲援，彼此呼應，因此認定張九齡、裴耀卿和嚴挺之等已經結成了朋黨。開元二十四年（736年）十一月二十七日，玄宗罷免了裴耀卿和張九齡的宰相職位，而讓李林甫兼中書令，牛仙客為工部尚書、同中書門下三品，仍領朔方節度使。“同中書門下三品”與“同中書門下平章事”含義相同，列名宰相。同時，把嚴挺之貶出朝廷，任洺州刺史；王元琰則流放嶺南。
在這場政治鬥爭中，張九齡並不是完全沒有失誤，他的失誤被李林甫很好地利用，因此失勢下台。這次宰相的調整，使張九齡、裴耀卿、嚴挺之幾位正直而富於才學的大臣被疏遠；而由於牛仙客的入相，則使李林甫的勢力在朝廷裏占了絕對優勢。李林甫處心積慮的努力，終於達到了目的。以正直聞名的張九齡獲罪降職，失掉相位，則向其他朝廷大臣發出一個信號。從此朝廷官員都明哲保身，遇事先想一想，怎麼做才能保住自己的職位，至於原則是可以放棄的，所以大家都不敢搞什麼“直言進諫”了。李林甫執政後決策上的失誤和政治上的黑暗局麵，是後來安史之亂發生的重要原因之一，使盛世大唐開始走下坡路。
李林甫是唐高祖李淵的堂兄弟長平王李叔良的曾孫，但到李林甫時，這一支與皇室的關係已經相當疏遠，他的父親李思誨隻做過揚州大都督府的參軍。李林甫因善於鑽營而逐漸爬上高位，靠巴結武惠妃而升任宰相。這個人陰險毒辣，任宰相十九年，可以說壞事做盡。
李林甫為相期間，他的大部分時間和精力都用在如何鞏固玄宗對自己的恩寵和自己的相位上。張九齡等被罷相，李林甫想獨攬朝政，擔心那些諫官動不動就把問題反映給玄宗，破壞自己在玄宗心目中的形象。他公開召集諫官們開會，說：“當今天子聖明，大臣們順從皇上的命令都來不及，不需要諫官們對朝廷事務說三道四。”他指著旁邊禦廄裏膘肥體壯的馬，說：“大家看到這些儀仗隊裏的馬了吧，平時享受三品馬的飼料，可是隻要在儀仗隊裏亂叫一聲，立刻就被開除。那時候後悔都來不及！”補闕杜璡不識時務，上書朝廷，發表意見，第二天就被當作亂叫的儀仗馬調出長安，讓他去下邽縣當縣令了。
李林甫善於弄虛作假，渲染自己的政績。這年七月七日，大理少卿徐嶠上奏：“今年全國隻有五十八名罪犯被判死刑。一直以來，大理寺的監獄被認為殺氣太盛，連鳥雀都不棲息的，現在有鵲鳥在院子裏樹上築巢，這是天下太平的征象。”於是百官都因社會安定而向玄宗表示祝賀。玄宗則歸功於宰相治國有方，第二天就賜李林甫為晉國公、牛仙客為豳國公。
那些在才能和聲望上超過自己、有可能威脅自己相位的人，是李林甫精心提防和著重打擊的對象。李林甫為人城府極深，旁人很難透視他的內心。他善於以甜言蜜語獲取別人的好感，可是背後傷人，不露聲色。凡是玄宗喜歡的人，或者才能、聲望或功業超過自己的人，他先是親近交結，等到那人的地位和權勢對自己稍微有點兒威脅時，就設計加以排斥。即便是久於官場老奸巨猾的人，也很難不落入他的圈套。他特別忌妒那些富有文章才華和有學問的人，表麵上與之交好而背後加以陷害。所以人們評價他：“口有蜜，腹有劍。”“口蜜腹劍”成為人們常用的成語，就是李林甫式政治文化的語言積澱。在保權固位方麵，有幾件事極見李林甫的心計和詭詐。
玄宗曾在勤政樓觀賞樂舞。兵部侍郎盧絢以為玄宗不在樓上，騎馬從樓下經過。盧絢人很帥，是美男子，他垂鞭按轡，緩緩而行，那姿態非常瀟灑。玄宗隔簾望之，非常欣賞盧絢的才貌風度，連歎數聲。李林甫經常用金帛賄賂玄宗身邊的人，了解玄宗的動靜，有人把這個細節告訴了李林甫。李林甫很擔心玄宗會任命盧絢為相，他把盧絢的兒子喊來，說：“你父親聲望很高，現在交州和廣州需要有才望的人去做刺史，我看皇上的意思呢，是想任命他擔任，你們覺得可以嗎？一旦恩命下達，你父親嫌交州和廣州偏遠不去，那就會遭到貶官的處罰。”李林甫的話一下子就給盧絢的兒子造成了壓力。
廣州大致相當於現在廣東省和廣西的一部分，州治在今廣州市，那時叫南海郡；交州大致相當於現在廣西的一部分和越南的北部，州治在龍編，離現在越南河內很近。對於中原地區來說，這些都是蠻荒地區，唐朝常常把犯罪的官員流放到嶺南，嶺南就是這一地區。在唐朝人的心目中，那裏是很可怕的，據說那裏有“瘴氣”，北方人不習南方水土，主要就是容易染上瘴氣生病。據說唐朝那些貶到嶺南的官員，常常一去不返，就死於這種瘴氣。因此唐朝前期官員們都把到交、廣任職視同流放。
盧絢的兒子當然不想讓老父遠赴交、廣任職，急忙請李伯伯想辦法。李林甫說了：“不想去的話，朝廷可以任命他做太子賓客，或者太子詹事，到東都任分司官，也是對賢明官員的優待，要是想去的話，那就早點提出申請。何去何從，你們商量商量吧。”兒子回到家裏，告訴盧絢，盧絢擔心遠任交、廣，要求去東都任分司官。唐朝洛陽是東都，那裏有一個備用的朝廷機構，隻有皇帝到了東都，這個機構才啟用。而實際上從開元二十五年以後，皇帝就不到東都去了。在那個機構任職的官員叫分司官，當然是閑職。
李林甫給盧絢安排的是兩難選擇，到交、廣任職和到東都任分司官，都有弊端。到東都任分司官，意味著政治前途的喪失，而到交、廣任職，遠離親人不說，還有生命之虞。盧絢是“兩害相權取其輕”，比較吉凶難卜的交、廣之地，政治前途可以放棄了。李林甫又擔心真的這樣任命盧絢，大家會有看法，為了不招致輿論的批評，他任命盧絢為華州刺史。這樣李林甫沒有責任了：到東都任分司官，是你主動提出來的，那是個閑職，我不讓你去，任命你擔任一州刺史的要職，我李林甫愛惜人才吧。這樣他把盧絢趕出朝廷的目的也達到了。
但擔任州刺史還有機會回到朝廷任宰相，所謂“將帥必出於行伍，宰相必出於州郡”，州刺史政績顯著，往往入朝為相。盧絢到任不久，李林甫又借口盧絢生病，沒有把華州治理好，把他改為太子詹事，就是東宮的辦公室主任。本來就是閑職，又讓他在家養病，隻享受這個職務的待遇，實際上並不任職，這叫投閑置散。把有才能聲望的人投閑置散，不讓其有發揮才能的機會，這是李林甫對付競爭對手的一招。
天寶元年（742年）四月，朝廷任命嚴挺之為太子詹事，同時任命汴州刺史、河南采訪使齊澣為太子少詹事。這都是東宮裏的官，都是閑職，李林甫一向忌妒這兩個人，就安排他們去任這種閑職。盧絢、嚴挺之和齊澣可能始終不明白自己為什麼遭到這樣的待遇，可是李林甫的表現又使他們很感激，以為李林甫一直在替自己著想。
在排斥異己的同時，李林甫時刻注意拉攏和扶植自己的黨羽。牛仙客是經李林甫推薦而任宰相的，因此對李林甫惟命是從。這兩個人都沒有學術，在官場運作中沒有高明的辦法，而是把任何事情都納入一定的程式，照章辦事。百官的升遷和任命，都遵循嚴密的程式，論資排輩，即便是才華出眾，品行高潔，也因為限於資格而長久不得升遷；那些巧言善媚而陰險狡詐之徒，卻常常通過鑽營投機旁門邪道被越級提拔，成為李林甫的朋黨。
在打擊和排斥異己過程中，李林甫除了詭計多端之外，就是心狠手辣。他手下有的是手段毒辣的爪牙，吉溫就是這樣的人。牛仙客去世後，玄宗任命刑部侍郎李適之為宰相。李適之與李林甫因權力之爭，逐漸產生了矛盾。李適之擔任兵部尚書，駙馬都尉張垍任兵部侍郎，張垍是張說的兒子，李林甫對此也頗為不快。他指使人檢舉兵部銓曹貪贓舞弊的事，兵部銓曹是兵部負責本係統幹部選拔的部門。禦史台派人把兵部六十多名吏員抓捕，交給京兆府和禦史台審訊，一連好幾天問不出結果。京兆尹蕭炅領會了李林甫的用意，派法曹吉溫審問。兵部吏員平時就聽說吉溫心狠手毒，當把他們帶進刑訊室時，都自誣有罪，吉溫讓他們怎麼說，他們都老老實實地按吉溫的旨意招供，片刻間此案就了結了，而檢驗這些囚犯，沒有一個人身上有用刑的痕跡。最終，玄宗下敕赦免兵部負責銓選的侍郎和判南曹郎官，但以朝廷名義進行公開批評。這件事使兵部長官李適之和張垍很難堪。
李林甫正在千方百計清除那些不依附自己的人，想找一個鞫獄審案的合適人選，蕭炅就把吉溫介紹給他。李林甫得到吉溫，感到非常合乎自己的要求，特別高興。吉溫平日裏就放出過這樣的話：“如果遇到知己，他要終南山的白額猛虎，我也能為他捆起來，送到他跟前。”當時還有一個人叫羅希奭，杭州人，作獄吏，用刑特別狠毒。李林甫重用他，把他從禦史台主簿提拔到殿中侍禦史。
李林甫多次製造大案冤案，為了審問罪犯，他在長安另設了一個審訊機關，叫推事院。李林甫知道楊國忠因為堂妹楊貴妃而受到玄宗寵幸，經常出入宮禁，楊國忠提的建議，玄宗大多采納，就拉攏楊國忠作為自己的助手，把他提拔為禦史。凡是與東宮有點兒瓜葛的案子，都盡量牽扯到太子，讓楊國忠上奏彈劾，交給吉溫、羅希奭進行審問。楊國忠因此有機會按自己的意願行事，排斥異己。因這樣的案子受株連被判刑誅死的達數百家，都是楊國忠發起操作的。隻是太子仁孝謹靜，張垍、高力士又常在玄宗麵前保護太子，所以李林甫始終沒有機會把太子拿掉。
玄宗對李林甫的信任和重用以及李林甫的專權，都達到無以複加的程度。玄宗經常不上朝理政，官員們有事都到李林甫家稟報，禦史台和尚書省經常空無一人。陳希烈雖然在尚書省值班，並沒有人來見他。
過去，宰相都以德高望重立身處世，不靠權勢威風淩駕於人，出行時隨從不過數人，士人百姓有時並不回避。李林甫自知結怨太多，經常擔心有人複仇殺他，為了防止刺客，出門就布置百餘名步兵和騎兵，分左右兩隊，由負責京城治安的左、右金吾衛派武警人員驅趕街上行人靜街。前行的人員在百餘步外，公卿大臣必須回避。史書上說，唐朝時，宰相出行前呼後擁是從李林甫開始的。在他家裏，進入他的住處要經過一道道門，每一道門都上著大鎖，臥室裏有複壁可以藏身；以石頭鋪地，牆中又安裝木板隔開。李林甫日夜如臨大敵，一夜間都換幾個床，即便是家人都不知道他睡在哪裏。
天寶八載（749年）四月，鹹寧太守趙奉璋要向朝廷告發李林甫，他列舉李林甫的罪狀有二十多條；但是他的狀文沒有送到長安，有人已經告知李林甫。李林甫命禦史把趙奉璋逮捕，說他散布妖言，把他亂棍打死。
過去姚崇、宋璟和張說為相時，玄宗年富力強，勤於政務，首輔宰相是在皇帝手下工作，而在李林甫漫長任期內，玄宗卻一直在追求高居無為，所以李林甫對朝廷的支配，遠比他的前任們全麵而且有效。李林甫為相，導致安史之亂發生的一個直接原因，是朝廷在邊將選任政策上的失誤，這當然與李林甫固權保位有關，前文已經講過。在邊將常任久戍的同時，帝國精銳的軍隊都在邊境地區戍守，由唐初重內輕外變為內輕外重，最終造成安祿山舉兵作亂，兩京淪陷，都是李林甫專寵固位之計謀而造成的。