本來一個被斬首的和尚跟貴為司空的裴寂叔叔是扯不上關係的，然而皇帝李世民說有關係，那就是有。什麼關係？裴寂聽到過法雅的妖言卻沒有舉報，沒有盡到一個做司空的責任，辜負了國家的信任，枉穿了這身官服，總之罪過大了。到這個時候，裴叔叔明白了，什麼叫找茬？這就叫找茬。裴叔叔屈指一算，也對，已經貞觀三年了，李世民已經給太上皇李淵三年的麵子了。孔子都說“三年無改父之道是為忠“，人家李世民給了你三年麵子，夠意思了。這一年正月二十九日，裴寂一生中最灰暗的日子到來了。他被免除官職，食邑消減一半，外加勒令即日遷出長安，回家鄉蒲州（山西永濟）居住。官被撤了還不算，連戶口和糧油關係都一並轉回老家。一句話，滾，滾的遠遠的！裴叔叔原本還想請求留在長安居住，沒想到遭到了大侄子李世民劈頭蓋臉的數落：“以你的功勞，怎麼能升到這麼高的地位？不過是受太上皇恩寵，你才在文武百官中排第一。武德年間法紀混亂，賄賂橫行，毛病都出在你身上，就因為你是故舊，不處理你也就罷了，能讓你活著回鄉，也算照顧你了！“人活一張臉，樹活一張皮，這下裴叔叔臉和皮都沒了，沒皮沒臉了。
沒皮沒臉的裴叔叔鬱悶地回到了蒲州，打算蒲州終老。然而沒想到，終老蒲州居然也是一個可望不可及的夢想。在他回到蒲州不久，又有人參了他一本：有個叫信行的神經病患者曾經說裴寂有皇帝命，可裴寂也沒有報告，按律當斬。倒黴催的，一個神經病的話也要追究，真夠神經病。在神經病的折騰下，裴寂很快接到新的調令，即日起戶口和糧油關係再次轉移，再次遷徙。奔哪？交州！交州，今越南中部、北部、廣西的一部分，離長安有多遠，自己看地圖量。這就叫，有多遠，走多遠。好在李世民做事還沒有做絕，盡管裴寂叔叔向著交州進發，但最終李世民還是照顧了他：交州就不用去了，去靜州吧。靜州，今廣西昭平縣，比交州近那麼一點點。落戶廣西昭平縣的裴寂很快做出了一件大事：犯上作亂，當羌族的盟主。別緊張，這是謠傳。在裴寂落戶昭平之後，當地羌族部落作亂。風傳他們劫持了前任司空裴寂，並邀請裴寂出任盟主。謠言晃晃悠悠地飄進了長安，飄進了唐朝的高層，也飄進了李世民的耳朵裏。對此李世民堅定地搖了搖頭，說道：“不可能，裴寂理應被處死，是我網開一麵饒他不死，他一定不會那麼做。
“事實證明，李世民盡管討厭裴叔叔，但他還是了解裴叔叔的。裴叔叔雖然仕途已經走到盡頭，但對唐朝的忠誠之心天地可鑒。不久，正式消息傳來：裴寂率領家人奮勇作戰，擊破羌族軍，平息叛亂。三年後，李世民淡忘了與裴叔叔的往日恩怨，反而記起了裴叔叔的開國功勳，征召裴寂回長安任職。這一次裴叔叔終於開心的笑了。在接到征召數天後，久經考驗的唐朝開國功勳、忠誠的唐朝官員裴寂因病醫治無效於靜州去世，享年六十歲。或許裴寂真的本事不濟，或許他的功績被李世民及其後人刻意掩蓋了（很有可能），但他在起事之初為李淵提供的援助是不可抹殺的。
在他主事的武德年間，並沒有李世民說的那麼不堪，事實上《唐律》正是在裴寂的主持下製定的。武德年間的諸多大事都有裴寂的身影，說他本事不濟是可以的，說他於社稷無功是不對的。一切的一切隻因為他與李世民之間有一道叫做劉文靜的結，更重要的是在武德九年裏，他沒有幫李世民多多美言。怪隻怪，他沒有看到未來的第三隻眼。在裴寂被流放靜州的同時，那道叫劉文靜的結打開了，劉文靜在死後十年終於迎來了平反的日子。貞觀三年（公元629年），李世民追複劉文靜官爵，以其子劉樹義襲封魯國公，許尚公主。後劉樹義與其兄樹藝怨其父被戮，又謀反，伏誅。