耶律倍自幼聰穎好學，向往漢族封建文明，對於漢文化有很高的修養。他曾將萬卷圖書，藏於醫巫閭絕頂的望海樓，朝夕誦讀。一次，遼太祖征求臣下意見：事天敬神，應以何為先？侍臣“皆以佛對”。耶律倍力排眾議，說：“孔子大聖，萬世所尊，宜先。”太祖大悅，詔建孔廟。他還在閭山腳下，納漢族醫師高潔行之女雲雲為王妃（俗稱高美人）。由於平生十分景慕唐代大詩人白居易，每通名刺，輒擬名“鄉貢進士黃居難字樂地”，以自比於白居易字樂天。
926年，遼太祖死於東征渤海國的回軍途中，述律皇後宣布由她親自當國，總攝軍國大事。《新五代史》記載：“述律為人多智而忍。阿保機死，悉召從行大將等妻，曰：‘我今為寡婦矣，汝等豈宜有夫！’乃殺其大將百餘人，曰：‘可往從先帝。’”其實，是要以此為借口，鏟除朝中的異己勢力，以便為所欲為。緊接著，她就置先帝遺命於不顧，硬性幹預，由手握重兵的次子耶律德光繼承皇位，是為遼太宗。
德光即位後，擔心其兄耶律倍聯合渤海遺民起來反抗他，便對其嚴加控製，采取了一係列的防範措施，最後把他安置在東平郡（今遼陽市）。耶律倍為了全身遠禍，將王妃蕭氏和長子耶律阮留在東平，隻帶愛妃高美人，回到閭山過起了隱居生活。他選擇桃花洞這塊地方修建了一所宅院，並在閭山絕頂構築讀書堂，日夕攻書作畫，吟詩撫琴，遊覽山水，還翻譯了《陰符經》。他所畫的《騎射圖》、《獵雪騎》、《千鹿圖》等畫卷，都為宋朝秘府所收藏。在我國繪畫史上，耶律倍對於契丹、漢文化藝術的交流發揮了積極作用。
《騎射圖》現藏於台北故宮博物院，是一幅契丹貴族射獵者的肖像。在一匹裝飾得很華麗的駿馬前麵，站立著一位“鬢發左衽”的中年契丹貴族。他腰挎虎皮箭筒，手持雕弓，陷入沉思之中。畫風細膩、典雅，與契丹墓室壁畫粗獷的風格迥然不同，表明畫家受中原漢文化的影響頗深。作為有代表性的北方草原民族畫家，耶律倍師法唐時的韓幹，特別擅長畫馬。畫中之馬為蒙古種，身軀低矮，長胴短腳，十分碩健。宋人黃休複評論其作品：“骨法勁快，不良不駑，自得窮荒步驟之態。”
但是，樹欲靜而風不止，耶律德光對他的監視日益嚴緊。為了避禍，也為了更好地接受漢文化的熏陶，耶律倍應後唐明宗之召，於930年，偕同高美人於遼東半島南端渡海逃遁，徑至汴梁。在離開故國時，曾立木刻詩，抒寫其孤危境遇和淒苦的懷抱：
小山壓大山，大山全無力。
羞見故鄉人，從此投外國。
東丹王的棄國流亡、中原避禍，再恰切不過地揭示了在武化麵前文化的無奈與無為，這在曆史上大概也不是特例吧。
後唐明宗很器重他，用天子儀衛迎接，委任他為節度使，賜姓李，名慕華，後改讚華。六年後，為末帝李從珂所殺害，時年三十八歲。947年，其長子耶律阮繼遼太宗即皇帝位，將其靈柩運回遼朝，以天子禮葬於閭山腳下，諡為“讓國皇帝”。
說到耶律倍的慘痛遭遇，使人想起印度著名史詩《羅摩衍那》中的古代十車王的太子羅摩。十車王聽了一位王妃的挑撥，改立次子婆羅多為太子，反把羅摩流放到大森林裏去。但婆羅多卻不像耶律德光那樣狠毒，非常仁愛，想方設法要追回哥哥，把王位交還；實在找不到了，就拿哥哥的一雙靴子放在寶座之上，自己算是臨時攝政。後來，羅摩終於回來了，弟弟便把王位交回。
遼代帝王的陵墓群，位於閭山腳下、距城十公裏的龍崗村。以顯陵和乾陵為主陵，另有十三座附陵。顯陵為耶律倍終古長眠之地；袝於顯陵的有耶律倍的長子、遼朝第三代皇帝遼世宗，及其三弟平王耶律隆先、四弟晉王耶律道隱。乾陵葬有耶律倍的孫子景宗皇帝及其妻子蕭綽—即攝政二十七年，卓有建樹，在中國曆史上具有重大影響的傑出的女政治家承天皇太後。袝於乾陵的有景宗的子孫耶律隆慶、耶律宗政、耶律宗允等多人。遼代著名政治家、宰相耶律隆運（漢名韓德讓）和後來做了金人俘虜的遼朝末代皇帝耶律延禧，也都葬身於此。
就這樣，自創國之初以迄呼喚改革的中葉，直至晚歲播遷，契丹皇族特別是耶律倍一支，與醫巫閭山膠葛重重，曆時長達二百年之久。