太平興國七年六月，有人揭發秦王趙廷美謀反，證據確鑿，但官家因念其手足之情，便將趙廷美貶為西京留守，其子女不得稱皇子皇女。（因為金匱之盟的緣故，趙光義三兄弟的子女都是稱皇子皇女，皇子擁有繼承權。）
之後趙普唆使開封知府李符落井下石，上言說趙廷美不思改過，反而對官家心懷怨望。於是，趙廷美被降為涪陵縣公，安置到房州。太宗命人嚴加監管，形同監禁。
這一年多，楚王趙元佐多次向趙光義進言，企圖說服他將趙廷美放出來，但都沒有成功，導致父子之間，生了嫌隙。趙元佐認為父皇太過狠心，趙光義卻覺得自己的兒子太心軟。
太平天國八年，楚王趙元佐移居東宮之後，再次上書趙光義，希望能夠讓趙廷美進京過年。
這是他成為太子之後第一次上書，雖然趙光義對於兒子這般咄咄逼人，意圖威脅自己不滿，但也要在群臣麵前給他這個新任儲君麵子，便同意了他的提議。
太平天國八年十二月，趙廷美進京。但或許是因為旅途勞頓，或許是因為水土不服，進京之後，趙廷美便開始身體不適，遲遲沒有好轉。
趙元佐得知得知此事之後，多次到寓所探望趙廷美，有時候甚至停留很長時間。
趙光義因此對趙元佐十分不滿，然而他不能下令讓自己的兒子不要去探望已病的叔父。
雍熙元年正月初一，趙光義避不受朝，沒有舉行元旦大朝會，反倒是召見了自己的弟弟涪陵縣公趙廷美。
垂拱殿，趙光義端坐在上麵，看著麵容憔悴的趙廷美，心中難得有了一絲不忍，“三哥的身子可有大礙？明日朕便讓太醫去給三哥診治。”
趙廷美笑得十分開懷，“不必勞煩二哥了。臣弟的身子已是油盡燈枯，便是華佗在世，也是無用。還要多謝二哥，不然臣弟恐怕至死都不能回京了。如今總算了此心願，死而無憾。”
說起自己的死，趙廷美一臉坦然，似乎說的是毫不關己的事。
趙光義忍不住皺了皺眉，“三哥何出此言？你還年輕，好生調養，自然就好了。”
“不必。”趙廷美抬起頭來看著趙光義，“想到死後便能立刻見到大哥了，弟弟心中歡喜的很。總算我這幾年，雖然沒什麼建樹，但也不至於沒臉去見大哥。隻不知二哥是否也問心無愧？”
趙光義勃然變色，“三哥這話是什麼意思？你怎的說起胡話來了？”
“是不是胡話，二哥心裏清楚。大哥南征北戰，身強體健，豈會如此輕易就暴病而卒？還有德昭，德芳兩位侄兒，二哥如今坐在這皇位之上，就不會夜不能寐，良心不安麼？！”趙廷美冷笑。
他從不相信趙匡胤是病卒的，也不信什麼金匱之盟。可他什麼都不能做，甚至要小心自己不被牽扯進去。可也是近些年來，他才想明白，便是自己老老實實的，二哥也不會放過自己。
誰叫那金匱之盟上頭，偏偏也有自己的一個名字在呢？
從那時起，趙廷美就已經明白了，自己死了比活著好。倘若他死了，二哥為了臉麵也好，為了堵悠悠眾口也好，總會善待自己的孩子。——反正他們已經不是皇子皇女，並無繼承權。可自己隻要活一天，便要被二哥忌憚一天。
這樣活著，又有什麼趣味呢？關在房州的這兩年，他反複的想，如果再看到他的好二哥，他要跟他說什麼，但如今真見到了，他隻想問問他，是否於心有愧，是否對得起大哥？！
大殿裏隻有他們兩個人，宮人是早就被驅逐出去了的。趙光義憤怒了一會兒，便反應過來，趙廷美隻怕就是為了激怒自己，讓自己口不擇言。他冷笑，“你這是從哪裏聽來的混話？金匱之盟是母後所立，你難道連母後的話，也要質疑不成？”
“是你說那是母後的遺命，可我不曾聽說，大哥也未曾提起，便隻是二哥你一家之言！”趙廷美道。
“大哥不說，不過是因為不願將皇位傳予朕罷了。”趙光義道。
趙廷美輕蔑的看著他，笑道，“所以你便害死了大哥，自己來做了這個皇帝？哈哈哈，真是可悲可歎，你如今做了這個皇帝，可痛快了？隻不知將來你的兒子們，是否會效仿他們的父皇！”
“混賬！”趙光義聞言暴怒，拍著桌子道，“你便是這麼和哥哥說話麼？”