玄宗欲用李林甫為相之時，曾向中書令張九齡征求過意見，張九齡說：“宰相係國安危，陛下相林甫，臣恐異日為廟社之憂。”玄宗沒有聽從。李林甫知道此事後，對張九齡非常惱恨。但是，張九齡“以文學為上所重”，李林甫對其雖恨，亦無可奈何。於是，善於偽裝的李林甫將其怨憤深藏於心，表麵上對其“曲意事之”。侍中裴耀卿與張九齡關係很好，因此李林甫對裴耀卿也非常惱恨。是時，玄宗在位已久，“漸肆奢欲，怠於政事。”每逢議事，無論大小，張九齡常與玄宗力爭。李林甫則利用這個機會，“巧伺上意”，奪得玄宗的歡心，並想方設法中傷張九齡。
開元二十四年（736年）十月，玄宗巡遊到東都洛陽，欲還長安，裴耀卿、張九齡說：“今農事未畢，請俟仲冬。”裴、張二相考慮到時值秋收大忙季節，皇帝若返駕歸京，沿途迎送，勢必影響秋收，所以建議玄宗推遲到初冬再歸。待裴、張二相退去，李林甫裝作腳疼，落在後麵。玄宗問其故，李林甫說：“臣非疾也，願奏事。二都本帝王東西宮，車駕往幸，何所待時？假令妨農，獨赦所過租賦可也。”玄宗大悅，立即西還。
朔方節度使牛仙客，勤於政業，能節用度，倉庫充實，器械精利。玄宗對其極為讚賞，欲拜其為尚書。張九齡反對，說：“不可。尚書，古之納言，唐興以來，惟相及揚曆中外有德望者乃為之。仙客本河湟使典，今驟居哺要，恐朝廷改變主意，對牛仙客加以“實封”。張九齡依然反對，玄宗聽後沉默無語。李林甫趁此機會，對玄宗說：“仙客，宰相材也，何有於尚書！九齡書生，不達大禮。”李林甫一番話，既博得了玄宗的欣悅，又進了張九齡的讒言，第二天，玄宗複又提出此事，張九齡固執如初。玄宗非常惱怒，變色道：“事皆由卿耶？”事後，李林甫向玄宗奏道：“天子用人，有何不可！”這話顯然會進一步激怒玄宗，從而離間玄宗和張九齡的關係。
玄宗原來對趙麗妃、皇甫德儀、劉才人皆寵幸，麗妃生太子李瑛、德儀生鶚王李瑤，才人生光王李琚。待玄宗即位後，惟武惠妃專寵，惠妃所生壽王李瑁，在諸皇子中也最受寵愛。太子李瑛與李瑤、李琚也都居禁中，因為受到冷漠而常發怨語。駙馬都尉楊洄是武惠妃的女婿，他經常刺探三位皇子的言行，並立即告秉惠妃。專寵的惠妃本來就想日後讓自己的兒子李瑁登基稱帝，便利用太子的怨言，誣陷太子，她哭泣著對玄宗說：“太子陰結黨羽，將害妾母子，亦指斥至尊。”玄宗大怒，想要廢掉太子及另兩位王子，張九齡堅決反對，力陳不能廢掉太子之理，最後說：“陛下必欲為此，臣不敢奉詞。”玄宗非常不悅，李林甫當麵不發表意見，背後卻問玄宗寵幸的宦官說：“此主上家事，何必問外人！”其意甚明，既表白他是讚成廢黜太子的，以取悅於玄宗和惠妃，又影射張九齡幹預皇家私事。玄宗愈發不悅，李林甫乘機在玄宗麵前日夜說張九齡的壞話，漸漸地，玄宗疏遠了張九齡。
不久，張九齡、裴耀卿被罷政，李林甫取代張九齡為中書令。牛仙客升任相職。開元二十五年（737年）夏，監察禦史周子諒上書彈“牛仙客非才，濫登相位”，結果是慘遭“杖之朝堂”，後又被流放氵襄州，至落田而死。李林甫趁機又進讒言，對玄宗說：“子諒，九齡所薦也。”玄宗又將張九齡貶為荊州史。李林甫終於達到了整治張九齡的目的。