這個機會很快就來了。
開元二十四年底，李隆基一行剛回長安不久，蔚州刺史王元琰因為貪贓枉法，被刑部、大理寺和禦史合庭審理，因其妻乃時任尚書左丞的嚴挺之前妻，於是後者便想方設法為其營救。不想被李林甫得知，便拿這件事來大做文章，立刻差人稟告李隆基，稱“嚴挺之私自袒護王元琰應該追究”。
李隆基對此事甚為惱怒，便找來張九齡商量。可張九齡由於與嚴挺之的私交甚篤，而且也很欣賞後者這種直言不諱又不齒靠近權貴、且討厭阿諛奉承之人，於是便不甚在意的回答：“休妻何來舊情？想必坐贓之罪未實，所以秉公辯誣。”
不知是不是因為事先聽信了李林甫的讒言，李隆基對張九齡這回答很不滿意，不高興的表態，即便之前分開了，但近日兩人必有私情，否則嚴挺之又怎會為下堂妻的老公而四處奔波。見皇帝不高興，張九齡也不好再辯，於是隻好婉轉請另一個宰相裴耀卿再次申辯。
隻不過，此時的李隆基由於在位時間久，年齡也逐漸增長，精力漸不如前，對各項政務也日趨怠慢。再加上又開創了開元盛世，從某個角度來說，他所作出的成績甚至比太宗李世民更為輝煌。這樣的光輝業績，令他沾沾自喜，也就不再像開元初期那樣勵精圖治，像張九齡這種忠心為國、但說話不中聽的大臣已經讓他不勝其煩。於是，善於察言觀色的李林甫立即抓住這個機會，繼續誹謗張九齡，不惜捏造出他與嚴挺之相互勾結，在朝中拉幫結派的“事實”。
或許是因為早年的慘痛經曆，李隆基這一輩子最痛恨、最忌諱的就是結黨營私，而李林甫的這次誣告就正中他的痛處。再聯想到此前多次被張九齡的直諫給逼得下不來台的尷尬，終於下定決心將張九齡、裴耀卿貶為左右仆射，罷知政事，同時提拔李林甫為中書令，終於讓這個以口蜜腹劍聞名於天下的人登上了權利最高峰。
然而，即便是這樣，李林甫也不滿足，仍要對張九齡趕盡殺絕。
開元二十五年四月，監察禦史周子諒因不滿李林甫專政，於是言辭激烈的上奏李隆基，彈劾李林甫徇私，任用無才之輩濫登相位。奏書中引用了武則天時期的讖書“兩角犢子自狂顛，龍蛇相鬥血成川”為證，暗諷李林甫提拔的工部尚書牛仙客會推翻唐朝。然而，李隆基對讖書相當忌諱，牛仙客又是他所欣賞的人，故問奏之後大怒，將周子諒打昏在大殿上，之後更將其流放至瀼州。此時，李林甫趁機進言說周子諒是張九齡推薦的，盛怒之下的李隆基又遷怒張九齡，將他趕出長安，貶為荊州長史。
至此，在這場鬥智鬥勇的政治較量中，武惠妃和李林甫一方完勝，這塊攔在爭立太子路上的絆腳石，終於被搬走了。