麵對如此強勢的威脅，楊炎不能不感到極大的憂慮和恐慌。
所以，就算不提當年那筆舊賬，楊炎也必須對劉晏下手。
就在兩稅法頒布的幾天後，德宗召兩位宰相議事。楊炎奏事完畢，忽然涕泗橫流地對德宗說：“陛下可知道，劉晏此人，很早就與黎幹、劉忠翼同謀，臣身為宰相，沒有盡到討逆之責，罪當萬死啊！”
客觀地說，楊炎指控劉晏與黎、劉二人同謀，並不能算是誣告。因為京城早有傳言，說當年黎幹和劉忠翼慫恿代宗立獨孤貴妃為皇後之事，劉晏也曾參與其中。至於這個傳言是否屬實，那就沒人知道了。
對此傳言，德宗實際上也早有耳聞，隻是當朝宰相如此煞有其事地向他提出來，這還是第一次。
德宗沒有說話，臉上是一種若有所思的表情。
這時候，崔祐甫發話了。他說：“像這種曖昧不明的傳言，不可隨便采信，況且陛下剛剛頒布了大赦令（朝廷於正月初一改元，同時大赦天下），更不應該追究這種風言風語。”
楊炎一看皇帝的臉色，又聽了崔祐甫的話，知道憑這則謠言八成是搞不定劉晏的，隨即轉移方向，說：“尚書省及其六部，是國家的政治中樞，這些年來增設了很多使職，大大分割了尚書省的行政權力，臣建議最好是裁撤諸使，恢複舊製。”
裁撤諸使，首當其衝者當然就是劉晏。
對德宗來說，關於劉晏參與陰謀的傳言是無法證實也無法證偽的。所以，僅憑傳言將劉晏定罪固然不妥，但完全不理會謠言似乎又讓人不太放心。畢竟這則謠言傳得這麼凶，不會純屬空穴來風。德宗想來想去，覺得最妥當的處理方式還是像楊炎暗示的那樣——可以不殺，但不能不貶。
這一年正月底，德宗下詔，宣布自即日起，將國家財稅的管轄權（天下錢穀）收歸戶部的財務司（金部）和糧食司（倉部），同時罷免劉晏兼任的轉運、租庸、青苗、鹽鐵等使。
二月，楊炎又慫恿德宗將劉晏貶出朝廷，理由是劉晏不久前呈上的一道奏章中有許多虛假不實之詞，隱然有欺君之嫌。
欲加之罪，何患無辭！
德宗最害怕的事情就是大臣對他的欺瞞，而楊炎的話則一下子觸痛了這根敏感神經。於是德宗不分青紅皂白，馬上將劉晏貶為忠州（今四川忠縣）刺史。
事情到這裏並沒有結束。
因為楊炎的目的絕不僅僅是將劉晏貶官，而是將他置於死地！
這年六月，宰相崔祐甫病逝。楊炎頓時心中竊喜。因為崔祐甫一死，就再也沒人替劉晏說話了。
不久，楊炎就暗中授意自己的死黨、時任荊南節度使的庾準上疏指控劉晏，說他自從被貶到忠州後就滿腹牢騷，經常埋怨天子，而且還與附近藩鎮暗通款曲，此外又在本州大肆招兵買馬，頗有起兵反抗朝廷的跡象。
庾準是劉晏的頂頭上司，德宗很容易就采信了他的控辭，加上楊炎又在他耳邊拚命煽風點火，德宗遂痛下決心，於這年七月派遣宦官前往忠州，秘密將劉晏縊殺，並將其妻兒老小全部流放嶺南。事後，為了掩人耳目，楊炎又建議德宗發布了一道賜劉晏自盡的詔書。
然而，若要人不知，除非己莫為。楊炎瘋狂複仇的行徑還是被天下人看在了眼裏。
劉晏無辜被誅後，朝野輿論一片嘩然，紛紛替他鳴冤叫屈。
最先作出反應的是淄青節度使李正己。
去年，他卑躬屈膝地向朝廷獻錢三十萬緡，不料卻熱臉貼上了冷屁股，心裏一直憤憤不平，總想找機會出出這口惡氣。如今，朝廷在劉晏這件事上做得這麼不地道，李正己當然要挺身而出，充當一回路見不平一聲吼的正義之士了。
他旋即上疏德宗，對朝廷的做法提出了嚴正的抗議和強烈的譴責，同時要求德宗公布事實真相，嚴懲殺人凶手。
對李正己這一聲吼，德宗置若罔聞，可做賊心虛的楊炎卻嚇得差點尿了褲子。
這就好比某梁上君子夜入暗室，盜得寶貝在手，轉身欲走之際，忽然燈火大亮，滿屋子站滿了圍觀群眾，這賊不活活嚇死才怪。
楊炎自以為整死一個劉晏，不關別人鳥事，沒想到卻一下子觸犯了眾怒。
怪隻怪他太低估劉晏的影響力了——這些年劉晏兢兢業業為國理財，其成績實在引人注目，所以積累了相當高的威望。
現在，朝野輿論的矛頭都不約而同地指向了楊炎，不管他走到哪裏都有人在背後戳脊梁骨，這滋味實在是不太好受。