來到天子身邊，如何才能把眼前這位帝王擺弄順，成為李林甫唯一用心的事情。李林甫繼續發揚光大之前的成功經驗，那就是鞏固與唐玄宗身邊那些宦官、妃嬪乃至家人的關係，借此來“伺上動靜”，以便預知和掌握天子的所思所想。有了這一個便利條件，“故出言進奏，動必稱旨。”保證了他的進言獻策都能暗合天子心意，而這種君臣思想上的默契，換來的是李隆基對他進一步地賞識和信任。
“林甫麵柔而有狡計，能伺候人主意，故驟曆清列，為時委任。”在皇帝麵前，李林甫臉上總是一副和善謙遜的表情，但心裏時時琢磨著如何巧對帝王，平和的麵目下他時刻都在揣摩天子的心思。這不是一般人能夠做到的，一則心智聰明，二則需要思維敏捷，三則當然是腦子裏裝的鬼點子要多。李林甫也應屬於特殊材料製成的“人”，正因為他具備這些曲意逢迎的天賦，所以他很快騙取了天子的信任，爬上高層步入清貴的行列。
開元二十三年（公元736年），李隆基再次提拔李林甫任吏部尚書（部長）、同中書門下三品（宰相），與裴耀卿、張九齡均加授銀青光祿大夫，成為皇帝身邊三位宰輔之一。
這時的李林甫已經位極人臣，似乎沒有什麼值得他再去費心思花力氣的了，隻須侍奉好皇帝，盡可以過高貴顯達的日子。這是我們一般人的常規性的思維習慣，對於李林甫這種弄權的人，他的思維邏輯始終圍繞著手中權力的安危來進行，固然已經做了三宰輔之一，但這個位子並非一勞永逸，仍存在隱患。隱患在哪裏？隱患就在於和自己平起平坐且論起學識、資曆來，比自己更勝一籌的張九齡和裴耀卿。人的貪欲是深不見底的，站在現在的台階上，李林甫感覺如果沒有張、裴二位，自己能獨掌朝政大權，那將是多麼理想和美好的事情。於是，他著手在笑臉遮掩下，一步步清除障礙、搞倒對手。
張、裴、李三人小組輔政，本來就隻是皇帝李隆基的一廂情願，作為天子他當然希望和要求他們三人精誠團結、和衷共濟。遺憾的是，人們之間的合作是以品性、誌趣甚至才學作為前提的，而非強迫式地拉郎配。以裴、張的修養，即使可以做到三人虛心以禮相待，但李林甫的權謀邏輯，是不允許他的威權存留半點隱患的，他的利欲心是無法止步於維持現狀的。就具體情況看，三人未組成之前即已埋下不和睦的種子。當時在玄宗提議李林甫做宰相時，張九齡是明確表示反對的，“陛下相林甫，臣恐異日為廟社之憂。”這話已經說得很露骨了；連朝中對三人品性略知一二的人都能看出將來的走勢，這三個人搭班子，不靠譜，看上去分明是“一雕挾兩兔”，而那隻凶惡的雕指的正是李林甫。
當然李林甫絕不會笨得像雕一樣直接張牙舞爪去撕咬裴、張二位。李林甫在官場上有一項獨門絕技，就是“口有蜜、腹有劍”，殺人不見血。
武惠妃深得玄宗皇帝寵愛，太子瑛、鄂王瑤和光王琚因為各自的母親受冷落而口出怨言，駙馬都尉楊洄把這事告訴了武惠妃，武惠妃便直接找到唐玄宗，數落太子瑛等對父皇出言不遜。李隆基聽了頓時生氣，召宰相們來商量如何處置太子三人。
張九齡書生氣重，加上心底無私，出於對大唐社稷安穩的考慮，不假思索直言勸諫皇帝：陛下這三個成年的兒子不可多得，極為可貴，太子是國家的根本，他生長在宮中，接受陛下的家教，人們沒有看到他的過錯，陛下怎麼能因為自己的喜好變化而廢掉他呢？臣不敢接受詔命。張九齡直接違逆聖上的旨意，唐玄宗聽了很不舒服。李林甫當麵什麼話也沒說，退朝後卻找到皇帝身邊的宦官，說：天子家裏的事，何須跟外人商量。李林甫拿捏得很準，他知道宦官掉頭就會把自己的話傳給皇帝。——其實李林甫這句話也是在鸚鵡學舌，學的是前朝高宗李治時李勣的“此陛下家事，何必更問外人。”當時李治欲廢後立武則天，遭到長孫無忌等一幫老臣的反對，李勣以此話討好唐高宗。兩位宰輔，兩樣態度，張九齡讓皇帝頓生厭惡，李林甫巧妙地討得皇帝喜歡。
開元二十四年（公元737年），唐玄宗巡遊東都洛陽後，打算起駕回長安。張九齡和裴耀卿上前勸阻皇帝說：眼下正是農忙時節，聖駕這陣子動身，沿途各地勢必要迎送接待，有可能影響秋收，還是等入冬農閑時再返回西京吧。李林甫不表態，眼看著那兩位離開，他假裝腳疼留在後麵。皇帝問他怎麼了？李林甫見二位已走遠，這才湊到皇帝跟前，說自己並非腳疼，而是有話想單獨對聖上講。他說：“長安、洛陽，陛下東西宮耳。往來行幸，何更擇時？”長安、洛陽對陛下來說形同東西兩宮，天子巡幸還需要挑時間嗎？“借使妨於農收，但應蠲所過租稅而已。”假使怕影響到農忙收割，隻須減免所經之地的稅賦就是了。以臣之見，馬上起駕。玄宗聽了非常開心，當即交待一切由李林甫去安排。