這時如果有人出來撈薛萬徹一把，薛萬徹還有的救，會有人站出來嗎？同為名將的李世積站了出來，李兄，有勞你了，薛萬徹在心中暗暗地說。李世積清了清嗓子，說道：“薛萬徹作為將軍，又是皇上的女婿。卻沒事發牢騷，實在該殺！“啊，你是來落井下石的！在李世積的石頭下，薛萬徹困頓到了極點，最後李世民念及他曾經有功，再者也是自己的女婿，法外開恩，免除薛萬徹所有官職，開除出幹部隊伍，流放象州（廣西象州縣）。往前倒退八年，名將侯君集滅高昌卻遭下獄；八年後，名將薛萬徹大勝高句麗橫遭流放，幸福的名將各有各的幸福，而不幸名將，悲劇卻一脈相承。從此，薛萬徹走上了與侯君集相同的道路，鬱鬱寡歡，牢騷滿腹，而那些牢騷之言，最終釀成了他的悲劇。永徽三年，時任寧州州長的薛萬徹回京朝見，在見過李治之後，他又見到了一個老熟人，房遺愛。
論起來，薛萬徹與房遺愛還是連襟，他們娶的都是李世民的女兒，再者薛萬徹與房玄齡長期同朝為官，兩家還是有一些交情。現在薛萬徹與房遺愛更是有談不完的話，他們都被貶出京城，同是天涯淪落人。盡管已經被貶三年，薛萬徹還是排解不了心中的怨氣，對著房遺愛說道：“我雖然現在腳有毛病，留在京城，我看誰他媽的還敢動我！“（今雖患腳，坐置京師，諸輩猶不敢動。）房遺愛靜靜地聽著，頻頻點頭，他同樣被鬱悶的日子壓抑的有些透不過氣。接下來兩人又進行了密談，具體談了些什麼，沒有人知道，事後，他們兩人對這次談話有著兩種截然不同的解釋。《資治通鑒》是這樣記載的：萬徹因與遺愛謀：“若國家有變，當奉司徒荊王元景為主。“而《舊唐書》則是這樣記載的：遺愛謂萬徹曰：“公若國家有變，我當與公立荊王元景為主。“及謀泄，吏逮之，萬徹不之伏，遺愛證之，遂伏誅。從兩書的記載來看，兩人的談話可能涉及“國家有變“，房遺愛對此供認不諱，而薛萬徹則矢口否認，這又是一次天知地知的談話，至於究竟有沒有，究竟談沒談，天知道！