安祿山回到了範陽，暗地裏繼續招兵買馬，囤積糧草。朝廷裏楊國忠卻更加叫囂，同沈陽叫板，了安祿山很多好話，矛頭直指沈陽。
稱沈陽陷害忠良，對朝廷懷有二心，一頂頂大帽子往沈陽頭上是使勁的扣啊。禁不住楊國忠等一班奸臣的讒言，聽多了，玄宗對沈陽也漸漸地產生了不滿之意
終於有一，在早朝時玄宗宣布罷免了張九齡宰相之職，理由是他曾舉薦長安尉周子諒擔任監察禦史。開元二十五年（77年），周子諒因為胡亂講吉凶，皇上親自加以質問，命令在朝堂上判決殺掉他。張九齡因犯了舉薦不稱職的罪，降職擔任荊州大都督府長史。
還帶找後賬的，又是莫須有的罪名，沈陽也是服了。下朝後，楊國忠趾高氣揚，故意諷刺沈陽道：“張丞相雖然降職了，正好可以休息一下，為國為民都操勞了這麼多年了！”嘴上這麼著，臉上卻露出一副勝利者的笑容，滿是鄙夷之色。
沈陽也懟道：“楊大人就更加憂國憂民了，您老就多操勞。”完，話鋒一轉，怒斥道：“安祿山是災星下凡，亂我朝廷者，必是此人，你也心為上，否則會因此人不得好死！”
楊國忠氣的直跳腳，卻沒敢發作，知道沈陽精通預測，周易八卦甚是了得，心裏也不由一緊。不過，現在的他是春風得意，沈陽的話一會就成了耳旁風。
他曾推薦孟浩然為荊州府幕僚，提拔王維為右拾遺，還有李白、杜甫都是沈陽舉薦。因舉薦人才沈陽被降職，這些人也是人人自危。
首先是李白，私下和沈陽欲辭官不做，去縱情山水。沈陽一看自己在朝中已大勢已去，這些人才在留朝中之能多一分危險。所以爽快的答應了李白，之後的李白遊山玩水，因此也留下了上千首詩，傳頌了幾千年。
李白臨走的前一夜，沈陽把李白叫到府中，為李白踐行，一起飲酒到亥時。沈陽邀李白到府中後花園走走，在涼亭中，二人站立，沈陽煞有介事的看了看星空，又掐指算了算。然後對李白：“太白啊，我觀象，幾年後我大唐有災殃啊，可救我朝水火之人，姓郭，名子儀。我算你與他有一麵之緣，現在正在遭災，你可在行走之時，多多留意此人，務必搭救。”
沈陽在李白麵前簡直是神一般的存在，的話是堅信不疑，字字記在心中。第二上朝就辭職了，開始雲遊四方。
且有一日，李白正騎馬在驛道上馳騁，前麵出現了一班衙役，押解著一輛木籠囚車，迎麵走來。李白讓馬放慢了速度，本已經過去了，突然想起來沈陽的囑托。又趕了回來，一問，竟然囚車裏的囚犯真是郭子儀。
原來郭子儀失手打死了人，被抓捕到，準備送到官府受審呢。李白表明自己的身份，又謊稱自己是張九齡的學生，和衙役一起見到了當地的縣令。
縣令自然聽過李白和張九齡的名字，自知得罪不起，草草的辦理了手續，由李白親自押解回長安交給沈陽處理。此時的朝廷已經沒誰管正事了，沈陽用自己的職權和人脈把這件事輕鬆的擺平了，隨後把郭子儀送到軍隊裏並托人照顧。
又過了十幾日，沈陽處理了一下自己的事情，上本向皇上辭行，要到荊州上任。玄宗多少有些不舍，但畢竟是自己下的旨意，一言既出也沒有收回的道理。
也不知道楊貴妃如何知道的消息，在沈陽臨走前和她在華清宮見了一麵，先是對沈陽的功績褒獎了一番，之後才切入主題，讓沈陽在臨走前再給她預測一下未來。
沈陽對唐朝曆史爛熟於心，但是看到四大美女之一的楊貴妃未來將香消玉殞，也是十分惋惜。於是想著自己再發揮些餘熱吧，對楊玉環暗示一下，效果如何就不知道了。
於是沈陽故作姿態的算了半，最後道：“貴妃娘娘幾年後有一難，難過方得平安。”楊貴妃也著實嚇了一跳，花容失色的問道：“可有破解之法？”
沈陽沉思半，讓楊貴妃將仆從等人譴退，而後聲：“娘娘要多親近結交太監高力士，多做善事，善待下人，其他則是機不可泄露！”
楊貴妃見沈陽不再多，連急帶怕，眼圈一紅，伏在沈陽身上抽泣起來，不一會眼淚撲簌簌的流下。沈陽身子觸電般的一震，看到楊貴妃哭的梨花帶雨又愛又疼，感覺自己象丟了魂似的。
沈陽怕被別人看見丟了性命，忙雙手相扶，示意楊貴妃起來，觸到楊貴妃的藕臂，不禁心髒狂跳不已。沈陽忙鎮定下來，讓楊貴妃準備紙筆，然後刷刷點點在紙上寫了一些字，疊好從袍袖裏拿出一個錦囊，將紙放入錦囊。
沈陽將錦囊遞給楊貴妃，告知楊貴妃，不出宮不得打開看。隨後不再多，匆匆告辭離去，之後去了荊州赴任。