節度使李正己多次上表朝廷，詢問劉晏何罪被殺，譏諷斥責朝廷。楊炎害怕天下然將殺劉晏的罪歸到自己頭上，就派遣使者前往各鎮，將過錯推給德宗。德宗知道後，派宦官到李正己那裏核實情況，果然如此，自此產生了誅殺楊炎的想法，但當時隱而未發。可以說，這一切都是楊炎自己將自己推上了死路，即使有人想救他也無能為力。
不久，德宗就提升盧杞為門下侍郎、平章事，改任楊炎為中書侍郎，仍為平章事，但不再專任楊炎了。楊炎與盧杞二人同時執政，盧杞相貌醜陋，又無文學才幹，楊炎對他很輕視，往往假托有病不和他在一起共事，議事又多有不合，盧杞因此懷恨在心。盧杞為人狡詐，為了發展自己個人的勢力，樹立自己的威信，對於不依附自己的人必欲置之於死地。於是薦引太常博士裴延令為集賢殿學士作為自己的羽翼，來圖謀異己勢力。梁崇義自代宗即位以來，就據有襄、漢七州之地，擁兵自守。德宗即位後，對他進行招撫，但他態度頑固，抗拒朝命。建中二年六月，德宗任命淮西節度使李希烈統領各軍討伐梁崇義。楊炎勸諫說：“希烈為董秦養子，親任無比，卒逐秦而奪其位。為人狼戾無親，無功猶倔強不法，使平崇義，何以製之。”楊炎堅持己見，爭議再三，德宗不聽。在此之前，楊炎回歸朝廷時，路經襄、漢，努力勸說梁崇義入朝，梁崇義沒有聽從，已經圖謀反叛。不久，楊炎又派自己的黨羽李舟去勸說梁崇義，梁崇義頑固不聽，最後終於反叛。議論的人都歸罪於楊炎，認為是他促成梁崇義反叛的。此時，楊炎勸德宗不用李希烈，德宗對他更加不滿。德宗又曾詢問宰相，大臣之中誰可擔當大任，盧杞推薦張鎰、嚴郢，而楊炎推薦崔昭、趙惠伯，德宗認為楊炎議論疏闊，於是罷免楊炎宰相之職，為左仆射。過了幾天，楊炎入朝謝恩，在延英殿問對後，急弛而歸，沒有到中書省與盧杞見麵，盧杞對楊炎更加怒恨。不久盧杞引薦嚴郢為禦史大夫。以前嚴郢擔任京兆尹時，不依附楊炎，楊炎對他很不滿，就指使禦史張著彈劾嚴郢，罷免嚴郢京兆尹之職為禦史中丞。楊炎又提拔了與嚴郢有矛盾的源休為京兆尹。嚴郢後來又因犯有度田不實之罪，改任為大理卿，當時人們感到惋惜。此時，盧杞則迎合眾人的要求，又利用嚴郢與楊炎有積怨，故意引薦他為禦史大夫。楊炎的兒子楊弘業很不成才，常違法犯禁，又接受別人的賄賂和請托，後嚴郢審理此案，便不遺餘力，並查出了楊炎的其他罪行。
先前楊炎為修建家廟，就請河南尹趙惠伯為他出賣東都的私宅，趙惠伯就把此宅買來作為官署。嚴郢審理後，認為趙惠伯是“貴估其宅”，楊炎得到不少餘利。盧杞召請大理正田晉處理此案。田晉認為：獲取餘利，以索取論罪，應該剝奪他的官職。盧杞對這樣判處很不滿意，就將田晉貶為衡州司馬，而召請其他官吏重新議罪，後判為：“監主自盜，罪絞。”此外，又有流言蜚語說：楊炎在曲江南修建的家廟，“此地有王氣，炎故取之，必有異圖。”德宗聽說後更加憤怒，等到台司把審訊結果呈上，下詔三司重加覆按。於是在建中二年十月下詔宣布：尚書左仆射楊炎憑借他文學才藝多次位居要職，但“不思竭誠，敢為奸蠢，進邪醜正，既偽且堅，黨援因依，動涉情故。隳法敗度，罔上行私，苟利其身，不顧於國。”“詢其事跡，本末乖謬，蔑恩棄德，負我何深！考狀議刑，罪在難宥。”為顧全大局，特加寬宥，貶為崖州司馬。詔書下達後，楊炎踏上了流放的路途，途經鬼門關，他似乎已預感到前景不妙，寫詩感歎：“一去一萬裏，千知千不還。崖州何處是，生度鬼門關。”在走到離崖州百裏的地方，德宗又下詔賜死，終年五十五歲。眾人無不歎息，可惜了他那滿腹經綸！紫雲雖然和唐安公主暗中多次救助，但終究還是沒能阻止他的悲慘結局！太子和紫雲一眾人都評價他說：自他追隨元載，他就走出了錯的第一步，後來打擊報複，並陷害劉晏，引起了許多人的不滿，才使盧杞得以施展奸計而罹殺身之禍，總結起來，就是自掘墳墓。
唐安公主雖然避重就輕，但還是引起了眾人無限的遐想，以至於德宗的種種行徑。義陽是個耿直的性子，於是歎息一聲道：“可是父皇偏聽偏信，才使這些貪官橫行，汙吏頻出！”