但是元朝的皇帝是知道他的身份的，而且也時刻提防著這位年輕的宗教領袖。宋朝皇帝的號召力在西藏當然是沒人響應的，但一個高僧大德在虔誠信奉佛教的藏民當中還是有影響力的。保不定他哪天揭竿而起呢！留著總是禍水。
宋恭帝或者叫合尊法寶，跟後世的倉央嘉措一樣，也有寫詩的業餘愛好。
他寫了這麼一首詩：寄語林和靖，梅花幾度開？
黃金台下客，應是不歸來。
林和靖就是南宋杭州著名的隱士林逋，寫出詠梅名句“疏影橫斜水清淺，暗香浮動月黃昏”的那位。林和靖不僅不肯做官，連娶妻生子都免了，終生“梅妻鶴子”，也就是以梅花為妻子，養仙鶴當兒子，性情高潔得不食人間煙火，今天的杭州孤山還保留著他隱居時的放鶴亭。“寄語林和靖，梅花幾度開”，當然是少小離家，想念故鄉的意思了。而下麵兩句就更加不得了：黃金台在河北易縣的東南，是戰國時期燕昭王為招攬天下賢士而築起的一個土台，據說燕昭王在上麵放了千兩黃金，高薪誠聘可以助他打天下的人才。“黃金台下客，應是不歸來。”這是什麼意思？你要搭黃金台幹什麼？你想招募死士跟我們大元朝爭天下嗎？原來你的黃色僧袍下還隱藏著這麼一顆躁動的心。元朝的皇帝算是抓到了把柄。
這個時候的元朝皇帝已經是元英宗了，他已經是蒙古的第九位大汗，元朝的第五任皇帝。他可沒有優待俘虜的好性情了，直接以“煽動天下人心”的罪名，將趙顯賜死了。
在很多年以後，元朝的末代皇帝元順帝即位了。有一種傳說，說元順帝居然是宋恭帝趙顯的兒子。元末明初人權衡撰《庚申外史》披露了這麼一個驚天傳聞，根據這種說法，趙顯曾經到過甘州也就是今天甘肅張掖的大佛寺，當地的王公給他獻上了一位美貌的回族女子，趙顯在這位美女身上播下了種子。後來，元順帝的父親也因為宮廷鬥爭而流亡西北，又把這位回族美女給收用了。美女在生下元順帝時因產後血崩死了，而元順帝其實是宋恭帝的兒子。這種說法，在明朝的時候傳得有板有眼，明朝人袁徹記載，說明成祖曾經觀賞曆代皇帝的畫像，發現元順帝長得像極了宋朝的皇帝，驗證了元順帝是宋恭帝兒子的說法。
故事還沒有結束：蒙古人還有另外一種說法，說是元順帝北逃時有一個妃子已經懷孕三個月，逃不動了，被朱元璋俘虜納為妃子。這位妃子為了懷孕的事情不敗露，天天祈禱上天，最後果然懷孕十三個月才生下了皇子，這就是後來的明成祖朱棣。所以，蒙古人認為明成祖其實是元順帝的兒子。
現代學者多認為這些傳說純屬野史，荒誕不經，清代的《四庫全書總目》也認為這些說法是宋朝遺民偽造，明人“附會而盛傳之”。
宋恭帝和元順帝，元順帝和明成祖，其實是風馬牛不相及的，這種勾連，無非反映了一種民族情緒。離奇的故事寄托著國破家亡的宋朝人的哀思，也把他們的國魂托付給了未來。宋朝最後的兩位小皇帝都死了，這是人們所知道的事實，然而江山並不能因此而死去，宋朝人在心中總是隱隱地想著，有一天，恭帝還會回來的，因為他隻是在某個地方出家。