更鬱悶的是，李恪最後的悲劇命運，也是因為李世民。
因為李世民摯愛長孫皇後，愛屋及烏，對長孫皇後所生子女都極盡寵愛，寵溺至極，李治更是帶在身邊親自撫養，導致李治性格極為懦弱。
在李治被立為太子半年之後，李世民突然心血來潮，覺得李治性格如此軟弱，恐怕不能守社稷，於是隨口就對長孫無忌說了這個憂慮，又說李恪英武果敢很像我，想立他為太子。
長孫無忌是李治的親舅舅，自然堅決反對，於是李世民這個隨口一說的念頭就被拋諸腦後，再沒提過。
卻不想，因此給李恪招來了殺身之禍。
李治登基之後，長孫無忌掌握大權，這時高陽公主和他的綠帽丈夫房遺愛腦子發燒竟妄圖發動政變廢掉李治，擁立荊王李元景為帝。
結果就是，從小被寵溺壞了高陽公主，在政變前為了謀奪大伯房遺直的家產和爵位，誣告其強殲自己；房遺愛被抓去問話，又以為是造反的事被發現，就將所有的事都招了。
一樁白癡一樣的謀反案就這麼戲劇性收場，但長孫無忌審理此案，卻借機讓房遺愛誣陷李恪也參與了謀反，將李恪活活冤枉死，於永徽四年二月初二被縊殺於長安宮禁。
李恪四個年幼的兒子，七歲的長子李仁，四歲的次子李瑋，三歲的三子李琨和一歲多的四子李璄也被流放嶺南，多虧有忠仆李福始終相隨，悉心照顧，李仁兄弟四人這才沒死在嶺南，在此地落地生根。這才有了李禕。
沒過幾年，長孫無忌被武後指使許敬宗害死，李恪的冤案初步被平反。
李治追封李恪為鬱林郡王並立廟祭祀，但卻任命河間王李孝恭的孫子李榮為鬱林縣侯繼承爵位，李仁四兄弟仍然被流放在嶺南，直到現在。
這就是李禕一家悲慘憋屈的身世，但事情遠沒有結束，四兄弟被流放後，李治還不放心，派了專人看守，四兄弟就跟坐牢一樣。
後來大概是看四兄弟還老實，看守的兵丁也就撤走了，四兄弟也被準許外出走動，但依然有人看管。
簡單來說，桃花村的曹裏正，就負責看著他們家；廣州都督府負責監管和彙報情況；除此之外，每年朝廷宗正寺還會派人來巡視一次。
每年端午節，廣州都督府都會派人押送賦稅進京並進貢禮物，同時還要彙報李仁四兄弟的情況。
到了後來，負責此事的廣州司馬都會借這個機會敲詐李仁他們一筆，這幾年一直都是五兩金子，但這次孫司馬卻派人過來說要二十兩，少一文就說李仁四兄弟的壞話。
沉默許久，李仁長歎一口氣，看著李瑋和李琨道：“家裏實在沒錢了，準備的五兩金子現在也隻剩下三兩，二哥三哥（注1），這事還要落在你們的身上，問馮使君和冼都老借了。”
李仁口中所說馮使君乃是高州刺史馮子猷，馮盎的孫子；冼都老則是指當地土著俚人的首領，統領十萬戶俚民，數萬俚兵的冼雄，冼傑兩兄弟。
馮子猷是李瑋的嶽父，冼雄冼傑是李禕的親舅舅。
當初長孫無忌倒台，李恪謀反案也得到了平反，馮子猷的父親，前高州刺史馮智戣預測李仁四兄弟可能會被平反，回朝做官，因此和李仁，李瑋，李琨三人定下姻親。
李仁的妻子慕容真如海是馮氏姻親；李瑋的妻子馮雲是馮智戣的親孫女；李琨的發妻李禕的親娘冼柔，不但是潘州刺史馮智玳的外孫女，同時也是當時冼氏大首領冼榮的女兒。
馮氏和冼氏在高州和潘州，基本就是土皇帝一樣的存在，兩家一百多年聯姻，早已親如一家。
雖然最後馮智戣失算了，李仁四兄弟並沒有回朝做官，馮氏也沒悔婚，三兄弟都娶到了當地豪酋之女做妻子，日子稍微好過一些。
不過好景不長，廣州都督府知道後，便每年都借監督彙報之名敲詐李家，四兄弟沒有辦法隻得盡力滿足。
三位富家女帶來的嫁妝被敲詐光了以後，李仁等人也不好意思總問馮氏和冼氏要，因此到了後來，李禕一家的日子也就越過越差，比桃花村一般的村民還不如。
李瑋和李琨看著大哥，臉上莫名一紅，輕歎了一口氣，點頭道：“也隻有這樣了。”
四兄弟雖然窮困，卻也活得硬氣，仍然倔強維護著身為皇族僅有的一點尊嚴，不肯接受施舍。
馮冼兩家知道這點，都是在過年時在年禮裏各包三兩金子，加一起六兩，五兩給廣州司馬，一兩準備獻給皇帝的嶺南特產，就這樣，李家四兄弟每次都覺得臉上都臊得慌。
隻是這一次，再要麵子，再放不下尊嚴，也隻能伸手去問馮氏和冼氏要了。
四人無奈搖搖頭，交換了一個眼神，一起望向李禕想要說些什麼。
這時李禕也回過神來，倒沒注意四人像是有話對自己說，猶豫一下開口道：“大伯，或許我有辦法賺到這十七兩金子，我們還是先不要問阿舅和馮使君他們借了。”