但要拉宇文融下台，總得有人動手。據推測，最大的可能是裴光庭，他本來就算是張說一黨的人，另外就是他從宇文融的下台中能得到最多好處。
事情起源於一件小事，但在有心人的操作下變成大事。
這件事得從唐朝與吐蕃的戰爭說起，唐太宗命文成公主和親吐蕃，嫁給吐蕃首領鬆讚幹布後，雙方曾經有一段時間的和平。但鬆讚幹布去世後，唐朝與吐蕃的爭端開始激烈起來。吐蕃以石堡城（今青海省湟源縣西南）為基地，不斷出兵攻打唐朝河西及隴右地區，唐朝深受其害。
開元十七年三月，李隆基命“信安王“朔方節度使李禕（吳王李恪的孫子，吳王是唐太宗跟楊廣的女兒楊妃生的第三子，後來被長孫無忌害死）跟河西、隴右地區的駐防將領一起商討如何拿下石堡城。其它將領都認為該城地勢險要，又是吐蕃重點防守的地方，如果唐朝軍隊深入奪取不成，則撤退的難度非常高，建議暫時按兵不動，等待時機。
但李禕認為，石堡城地理位置十分重要，即使再困難，也得想辦法奪取。他仔細研究了狀況，發現石堡城依山而建，隻有一條山路通往城堡，如果強攻，損傷必然慘重，於是決定采取長途奔襲的戰術，隱秘的饒到城外埋伏，然後全麵攻擊，吐蕃措手不及，支援部隊還沒趕到，石堡城已被唐軍攻占，這就是所謂的“第一次石堡城戰役”（天寶八年還有第二次石堡城戰役）
李隆基欣喜若狂，將石堡城改名為振武軍（話說李隆基很喜歡改別人的名字，他的幾個兒子很多人被改了兩三次名字，搞得我們都弄不清楚誰是誰），並舉行盛大宴會，對相關的有功人員大肆封賞。
開元十七年九月。李隆基命令李禕回長安報到。
接下來比較神奇的事情發生了，有一個據說是宇文融親信的禦史李寅準備彈劾李禕，但是奏章還沒有送出去時。又把消息給泄漏出去，讓信安王提前知道。並透過玉真公主、高力士事先告訴李隆基有人要彈劾李禕的事。隔天，李寅的奏章果然送到，李隆基因而大怒，宇文融被貶為汝州（今河南省汝州市）刺史。
（一）：宇文融跟李禕並無冤仇，如果說宇文融怕李禕回來搶了他宰相的位置，那也有點說不過去，因為李禕如果當宰相，比較可能被搶位置的應該是蕭嵩（他負責軍事方麵的事情）。而不是他。宇文融在這種情況下，找人去彈劾一位炙手可熱，跟自己沒有直接利害關係，無冤無仇的王爺，很難理解。
（二）：李寅要彈劾李禕，為何那麼容易消息就泄露出去，須知此時李禕還在路上，怎能那麼容易得到消息？
（三）：李寅雖然是宇文融以前的下屬，在“括戶“期間當判官，但此時宇文融已經離開禦史台。反而掌握禦史台的正是裴光庭（此時兼任禦史大夫，禦史台正長官）。
看起來這件事裴光庭頗有居中操作的嫌疑，而前麵提到李隆基態度轉變也是關鍵。就這樣，宇文融在為相百日後，就被罷相貶職。
宇文融被貶到汝州後，李隆基發現國家財政又快速惡化，這時他想起宇文融的理財能力，於是就找來宰相（主要是裴光庭）問說：“你們之前在我麵前一直說宇文融的壞話，導致我把宇文融貶到外地去，結果現在國用不足，你們有沒有辦法可以解決？“裴光庭等自然沒有辦法解決。而且開始恐懼宇文融會被皇帝召回。
沒有辦法解決事情就把人解決掉，這是古代中國官場常用的伎倆。裴光庭就是這麼幹的（裴光庭擅長人事行政，也就是我們現在的組織部。自然是這方麵的老手）。沒多久，禦史台就檢舉宇文融之前貪贓枉法（據部分史書記載時間是十月，也就是到汝州不到一個月的時間），調查之下，果然查有“實證“，宇文融再被貶為平樂縣尉（今廣西平樂縣）。
不過宇文融的厄運並未就此中斷，他的政治對手不會就此放棄打擊他的。開元十八年十月，張說一黨的司農少卿蔣岑，又奏報宇文融在汴州刺史任內貪汙超過一萬錢，宇文融再度被貶到岩州（廣西省來賓縣），就此死在去岩州的路上。