為了應對黨派鬥爭，穩固自己的地位，李林甫對朝廷內的高層人士進行組織機構改革，他大膽提拔了一大批性格粗魯的少數民族將領，對那些見識不凡、能力超卓的知識分子，李林甫的基本政策是讓他們從事理論研究。此時的唐朝內部的組織機構中真正的基層負責人幾乎都是清一色的武將，這些人絕大多數都是粗人，僅僅認識幾個字，根本沒有什麼權謀，也不會勾心，更不是進士出身或有什麼高級貴族的血源，根據大唐朝法律，不識漢字的人功勳再大也難以入朝拜相。為了表明自己廉潔奉公，李林甫主動讓出自己兼任的朔方節度使職務給安祿山的弟弟安思順，引得唐玄宗李隆基大為感動。一個人的能力有大小，但隻要有這點精神，就是一個高尚的人，一個純粹的人，一個有道德的人，一個脫離了低級趣味的人，一個有益於人民的人。李林甫同誌就是這樣的人。
李林甫改革的結果，是大唐各地方領導人都是番將安祿山這樣的人，從而遺患於天寶末年。曆史學家之所以認為“祿山傾覆天下，皆出於林甫專寵固位之謀也”，正是這個原因。在這些人中，安祿山要算異類。
安祿山是個什麼樣的人呢？性情殘忍，狡詐多智，非常善於揣度人意。這也是他發動“安史之亂”並因此名垂青史的最基本的原因。就這麼一個混世魔王，在整個大唐王朝他就怕一個人，李林甫。怕到什麼程度呢？隻要提起李林甫，他就聞風喪膽、臥床不起，從內心深處充滿敬畏。天寶六年，安祿山進位禦史大夫。由於深受皇上、貴妃的特別寵愛，上朝時，見到宰相李林甫也隻是哈哈腰，不是十分恭敬。李林甫不動聲色，暗中吩咐王鉷。王鉷當時位居大夫，安祿山對他有些畏懼。一次，王鉷和安祿山兩人因公事進見李林甫，王鉷一看見李林甫趕緊上前“趨拜，謹甚，不敢仰視”。安祿山這才知道麵前這位“整天笑眯眯”的瘦小子不好對付，連忙“悚息，腰漸曲”。而且，李林甫每次與安祿山談話前，都預先偵知其內心隱情，早早把安祿山的“心腹事”點出來，“祿山以為神明”，從此以後，安祿山親切地稱李林甫為“十郎”。
每次他的心腹劉駱穀回範陽的時候，安祿山都問：“十郎（李林甫的排行）說了些什麼嗎？”如果李林甫說的是好話，就洋洋得意，如果李林甫說：“告訴安祿山要多加檢點。”他就大叫：“糟了！我活不成了！”數九隆冬也會嚇得滿身大汗。《資治通鑒？舊唐書》明確記載：“（祿山）每見林甫，雖盛冬亦汗洽。此時傳到京城，著名演員李龜年馬上在皇家宴會上加以模仿，逗得李隆基大笑。安祿山雖然狡猾，但是比起老謀深算的李林甫還是甘拜下風。李隆基對安祿山一味濫加恩賞，李林甫則對他恩威並施，使他心悅誠服，不敢起異心。
對於安祿山這種缺乏教養、沒有正規大學文憑的“少數民族”，李林甫把他們的矛盾定為“人民內部矛盾”。他的基本政策是“實行又聯合又鬥爭的總政策”，一般情況下不會過分難為他們，在政治上實行“團結—批評—團結”的方針，“利用矛盾，爭取多數，孤立少數，各個擊破”是李林甫最基本的鬥爭策略，他因此而取得巨大的突破。
李適之既倒，張九齡被黜，看見朝廷如此多的棟梁之才被李林甫折騰得樹倒猢猻散、七零八落。太子李亨急得渾身通汗，但束手無策。這時候，立了大功的邊關大將皇甫惟明回朝受賞，他憂心國事，深惡李林甫的陰險狡詐，於是和太子李亨以及李亨的妹夫韋堅組成“三人團”，密謀除掉李林甫。但是誰也想不到韋堅有一個心腹叫楊慎矜，此公“沉毅有材幹”，乃隋煬帝楊廣的玄孫，有雙重間諜身份，既是李林甫的親信，也是打入太子集團的“內鬼”。他對韋堅的位置垂涎三尺，為了盡快把韋堅趕下台，楊慎矜把“三人團”聚會的時間、地點向李林甫秘密告發。李林甫早就有“山雨欲來風滿樓”的感覺，就添油加醋地把“三人團”的密謀說成“謀反”。唐玄宗大為震怒，罷黜韋堅，將皇甫惟明逮捕下獄，給太子李亨以“嚴重警告”處分。