蒙古軍打下中都後，耶律楚材便在家裏每日與夫人和兩個兒子過著悠閑自得的日子。但是耶律楚材心裏裝的是廣大百姓民生，每天晚上，他都仰望星空，歎息自己的懷才不遇。
有一天，楚材正和夫人下棋，忽然家人耶律偉光跑了進來。耶律偉光是楚材的父親收留的一個漢族孤兒。因為耶律偉光追隨耶律楚材一生，所以在這裏有必要介紹他一下。
耶律偉光本姓李名喆，他的父親在中都開一小飯館，日子還算過得去。哪知天有不測風雲，有一天，兩個女真人來飯館吃飯，吃完飯不但不給錢，反而誣陷李喆的父親偷了他們的錢財。官司打到官府，當時金國實行種族歧視政策，女真人是統治民族，自然受到法律的保護，最後判李喆的父親償還兩個女真人的財物。李喆的父親隻得忍氣吞聲，不久便得了一場病而死，他母親便賣了家裏財產改嫁他鄉。這一年李喆5歲，從此他便流落街頭，沿街乞討。一天，李喆乞討到耶律履家，家人看他年小可憐，就稟報老爺，請求收留了他。耶律履看他實在可憐也就收留了他，給他改名耶律偉光，命他侍奉剛出生不久的耶律楚材。
言歸正傳，耶律偉光進來報告：“外麵有蒙古使者來見。”耶律楚材一聽，心裏一動，不知蒙古使者到此有何貴幹。但他嘴裏忙說：“有請！”一會兒蒙古使者進來，宣讀了成吉思汗詔耶律楚材到漠北行宮的命令。耶律楚材最近聽說蒙古大汗征召了許多名士到漠北，不過他沒有想到今天自己也被列為征召範圍之內。耶律楚材正在思前想後，使者說：“大汗命你及早起身，明天我們就起程，由燕京留守派兵護送。”說完使者就走了。耶律楚材連忙找夫人商量，夫人知道耶律楚材的心情和願望，所以她勸說丈夫去漠北。耶律楚材不忍心離開愛妻和愛子，但一想到自己的誌向，他就下定決心應召。第二天，耶律楚材告別妻子和兒子，並且囑咐耶律偉光要照顧好主人和公子，然後起程赴漠北。
耶律楚材和使者以及護送人員一行出燕京取道張家口出塞外，曆盡艱險到達成吉思汗的漠北行宮。一路上盡是逃難離散的行人和倒斃的死屍。耶律楚材麵對戰爭破壞的情景，希望自己能夠為人民的幸福出點力。他們到達目的地後，早有人把他們的吃住安排好。成吉思汗命令耶律楚材先休息三天，然後再拜見眾大臣。三天以後，成吉思汗在自己的行宮召見了耶律楚材。這年耶律楚材29歲，身高八尺有餘，聲音洪亮，三綹須髯飄散前胸。成吉思汗一看到耶律楚材就非常高興，稱他為“吾圖撒合裏”。這句蒙古語的意思是：長著長胡須的人。
成吉思汗說：你是遼國皇族，金國和遼國是世仇，我一定要消滅金國為你報仇雪恨。”
耶律楚材說：“我祖父、父親都是金國的臣子，既然曾為臣子，又怎敢仇恨國君呢！”
成吉思汗很欣賞他的回答，以為他對君王很忠誠，於是決定把他留在自己身邊，楚材從此成為成吉思汗的心腹謀士。
蒙古太祖十四年︵1219年︶，成吉思汗親率蒙古大軍征討西域阿拉伯諸國，耶律楚材作為扈從同時起程。期間不僅盡覽西域風雲，還與長春道人丘處機進行了深切的交流。
隨軍西征，盡覽西域風雲