而後的幾年光陰間，李瑁果真如他自己說的那般一直閑居在長安城內的逍遙王府中，平日裏除了偶爾帶逍遙王妃楊玉懷還有一家老小去天然居試嚐一下新菜外，剩下的便是去自家開的長安大劇院欣賞歌舞劇目。
除此之外，他幾乎不與京都官員來往，外地進京來朝賀武官更是常常被他拒人於千裏之外，那位因為掃平突厥，為何回乞有功的安祿山和史思明等番族將領在連續加官升遷時，每每進京感謝皇恩，總要順帶著想去逍遙王拜見李瑁，美其名曰還大勢宣稱是要去聆聽逍遙王殿下的教誨和學習軍事上的排兵布陣。
可是李瑁也總有這個那個的理由拿出來搪塞，於是安胖子在吃了十幾次閉門羹後，也就沒再去打擾，而這家夥扭過頭來便是帶著大量的金銀財物在京師其他官員的府上走動，甚至連清廉剛正為名的張九齡都不放過。
但是一代名相張九齡雖然中途在李瑁的影響下加快了自己了官途之路，可始終未改名臣的作風，在開元21年（733年）間經曆了諸般挫折後，隨之也是被識人善用的李隆基火速提拔！任檢校中書侍郎，同時幾月後更是授中書侍郎同中書門下平章事（宰相）兼修國史。主理朝政。
他建議於河南屯田，引水種稻，遂兼河南稻田使。此時榮升幽州節度副將的安祿山因為擅作主張邀功，討伐奚、契丹失敗，被安北都護府主帥王忠嗣捉拿護送他到京城，請求按照朝廷典章執行死刑。
張九齡同時不顧安祿山之前的獻媚毅然奏明皇上說：“王忠嗣雖年少，但坐鎮一方，軍令如山，安祿山明知主帥未首肯而擅自出兵且失敗，此等罪責不應該免除死罪。”可是此時的李隆基早已快六十歲高齡，耳根子漸漸軟了很多，特別是在安祿山前幾次進京來總是變著花樣的討好，獻媚與他。
而李隆基更是深知安胖子這次冒險千裏奔襲漠北之外的那些散邦遊族部落，也是在他自己的默許之下才進行的，於是他力排眾議最後還是特別赦免了安祿山。
可張九齡就是張九齡，他識人的本事幾乎和李瑁這個未來人旗鼓相當，僅憑從安祿山平常的一些言行上便篤定這家夥腦生反骨，於是一再上奏說： ‘安祿山狼子野心，麵有謀反之相，請求李隆基根據他的罪行殺掉他，希望斷絕後患。”不過事與願違的是李隆基這個老東西最後竟然還拿出： 王夷甫了解石勒這個例子來反過來教育張九齡，讓他莫要誤害了忠誠善良的人。
而當李瑁坐在家中的花園裏邊欣賞楊玉懷和月色編排的舞蹈，邊聽著秋香送來的消息是，也隨之興致盎然的和眾女討論起了這個重要的國家大事來。
“殿下，您難道也認為張相公他是在危言聳聽，小事大做嗎？”王思洛在剝好一顆荔枝送到李瑁的嘴裏後，便忍不住心中好奇開口詢問起來。
“思洛！不！本王恰恰認為張九齡他是有識人之能的，要是我父皇眼下聽從他的話殺了安祿山也未必不是一件好事，雖然這樣的後果會多少引起幽州那邊的番族將領軍心動搖，可是以就安胖子他這幾年膨脹的速度來看，留著他恐怕有點養虎為患了！”
“啊！！殿下您既然也讚同張相公的看法，那為何不上書聖人幫著滅掉這個後患呢？”“死丫頭，你以為殺個人那麼容易嗎？何況還是統兵坐鎮一方的大獎，他安祿山這些些花的銀子，你以為他都是白花的嗎？隻要聖人一鬆口，我敢保證扭頭就會有幾百封替他求情的奏折送到龍案上來，另外你們就以為我父皇他真的老邁昏聵識人不明了嗎？他那是做為一國君王的自信，在完權衡之術呢？張九齡上來後，雖然識人善用，但大多安排的是讀聖賢書的文人墨客，這些人管理地方政務或許是一把好手，可要他們去局勢複雜，漢胡雜居的北方諸府領導，隻怕到時沒幾天功夫便要攪成一團亂麻啊！安胖子還是有他的可取之處的……”
李瑁說正說到興趣時，楊玉懷和月色還有幾個舞姬卻一曲唱罷，然後滿身香汗淋漓的走了過來。“殿下，你們在聊什麼呢？都沒仔細看奴家和月色姐姐的舞技了！太讓奴家傷心了……”“哈哈……誰說沒仔細看呢？本王一直在看著玉奴和月色的精彩表演啊！剛剛你二人的迎麵旋轉姿態堪稱完美，還有那落腰的刹那，神色兼備，看來這幾個月的苦練後，玉奴你的舞步更加出神入化了……大家夥說是不是啊！”