天寶六年沒七年至，李隆基至去歲十一月回長安，接安西副都護、都知兵馬使、充節度副使、製授行營節度使高仙芝報，拔不貢大唐的小勃律國阿弩越城，盡俘其王、大臣以及其王妻吐蕃公主與中使邊令誠會師婆勒川連雲堡。並請封賞將軍席元慶、郎將李嗣業。李隆基大悅，加高仙芝為安西四鎮節度使，夫蒙靈察內調為兵部尚書授同正員。一時之間數鎮節度使皆為胡兒，倒讓這天寶七年的開春瑞雪之上有了一絲的灰色。
李揚也碰麵夫蒙靈察，論起河西事，此尚書便是喜極，喚酒上來邀李揚。李揚不知為何心中有著淡淡的悲傷，原本意氣風發之人竟然落得如此地步，謂其養老至死未免有些過了，但再出頭之日隻怕也是遙遙無期了，不免又想至早故而去的太子員外詹事嚴挺之，隻怕二人是相同之心意了。
夫蒙靈察見李揚不與，也不介意，自己獨飲至酣，口角流涎不已方是恨聲大罵了起來。李揚一聽是如此，便搖了搖頭急是托有事而去，但入耳之聲卻已在心，幾句恨語多涉及高仙芝所為今人不齒。
正月，裴耀卿故（應該是天寶二年去世，一時忘了就讓多活了四年），李揚戴點素而祭之。十八日，金陵有人至書，李揚折開見是原來供奉李太白所牽，書中多寫長安一別之後的遊曆，勸導李揚不妨拋開事俗，結伴同遊。李揚合上歎道，太白真為仙子！但子仁實是世事纏事，斷不得凡心，離不開嬌妻孝兒，與書一道複了回去，後便再無音信。等再次聞其身跡卻已是天寶十一年，他自幽州發急，言幽雲之地皆動兵戈，身懼之。但那時李揚已歸隱於別處，於政事隻多歎憾卻是無力之極。至德二年，永王兵敗，卻聞其已入慕獲罪，被流夜郎，再後來上元二年，當塗之境上二人相會，卻未知已是最後一麵，過歲，太白故。
四月，高力士加驃騎大將軍，至尊笑稱其為兄，諸臣與臉麵各有稱翁或爺，李揚仍喚其為將軍，但因貴妃恩寵在身，高力士倒是也歡喜應對。又日，西京座成寶壽寺，將高力士推杵擊鍾，隨從添為施錢百千文，一時人皆獻諂上前跟風，有擊二十也有一十之數，此番下來，所得之財倒是再重修一座足亦。有人稟於至尊耳，至尊笑過不究，隻道天下之人皆是如此，不過是求媚者多也。
五月，諸臣上尊號開元天寶聖文神武應道皇帝，陛下許之，並赦天下。
六月，楊釗遷給事中，兼禦史中丞，專判戶部度支事，權勢至盛，與李揚之妾室太真之姊三位國夫人、堂兄二人並列為京中之新貴。
八月，宅中諸女皆是產子女，謫二子為名莫瞻，其餘各有名稱。兒婦巧兒至九月初方是頭胎，院中大慶。
十月，至尊加李揚妾室太真之大姊為韓國夫人、二姊（位在三）為虢國夫人、三姊（位在八）為秦國夫人，又另旨欲加太真為晉國夫人，李揚惶恐之極，跪殿下而拒。
李林甫早日應對李揚心中有怨氣，便數語至尊言其心中有不滿之意，為何三番二次的抗旨不遵，這便是其證。
李隆基怒之，便道：“你不欲富貴，那這太子詹事也自是看不上眼了。好，李揚，即是如此，那你便回故鄉雲中郡去任太守吧。”
聞言，李揚不憂反喜，二日便與家中之人打點齊備，將車數十輛往北而去。
未出灞水，吉溫後至，與李揚私會痛心而語：“君之一去，其事將托何人之手！楊氐三兄弟為保全大局，皆是含恨而冤死，如今殿下再行，則大事誤之！大隋之榮光何去何從，楊家祖業又與誰人！”