金代章宗明昌元年（1190年），在中都（今北京）西北香山一座豪華的宰相府中，宰相耶律履在廳堂中不安地來回走動。忽然，後麵的臥室中傳來嬰兒呱呱墜地的哭聲，接著，報信的匆匆說：“報告老爺，是個男孩兒。”耶律履高興極了，他對親人說：“我活了六十多歲，才有這麼個兒子，這是上天保佑啊！他將來一定會成為我們家光宗耀祖的千裏駒，成為名彪史冊的人物。”說罷，耶律履十分感慨，他覺得金國正在日漸衰落，這個剛剛出生的孩子，恐怕難為金國效勞，祝願他將來會得到異國的任用而有所作為。所以，他苦心孤詣，要為這個孩子取個吉利的名字，他想了半天，就以“楚材”為名，“晉卿”為字。它出自我國春秋時的史書《左傳》：“楚雖有材，晉實用之。”即楚國雖有人才，卻會被晉國實際使用。這句話後來成為列國間引用他國人才的通用語。
耶律履為他兒子所取的名字，後來果然應驗。耶律楚材長大成人，雖然也做了一段時間金國的官吏，但後來蒙古汗國伐金時，他順應曆史潮流，輔佐成吉思汗父子，做了一番轟轟烈烈的事業，成為我國曆史上傑出的封建政治家。
耶律楚材的祖先是我國古代北方的少數民族契丹族，他是遼代東丹王耶律突欲的八世孫。耶律突欲（又名倍）是遼太祖耶律阿保機的長子，在遼天讚四年（925年）耶律阿保機冊封耶律突欲為“人皇王”，讓他主持東丹國政。在遼代，這個顯赫的皇族，世代均是高官，到耶律楚材的祖父時，隨著遼代的滅亡轉而歸順了金國，耶律楚材的父親耶律履以文章德行得到金世宗完顏雍的信任，被任命為翰林待製、禮部侍郎。金章宗完顏璟即位，耶律履因功勳卓著曆任禮部尚書、參知政事，最高任尚書右丞（相當於宰相），死後追封為文獻公。
耶律楚材的父祖輩聲名顯赫、官高位尊。耶律楚材在《為子鑄作詩三十韻》一詩裏，非常驕傲地讚頌了祖先的高深文化修養和治世功勳。
契丹族原發祥於遼水以北，是北方遊牧民族。但到了耶律阿保機建國前後，契丹族與中原漢族的聯係日益密切，不少人接受了漢文化。耶律楚材的八世祖耶律突欲就是契丹皇族中最早接受漢文化的人之一。他曾建議其父遼太祖耶律阿保機建立孔子廟，興辦儒學。他治理東丹時即采用中原漢法。他博學多才，既善於騎射，又工於書畫，懂醫藥針灸，並能用契丹文、漢文兩種文字寫出很好的文章。他在今遼寧省阜新市東南風景秀麗的巫閭山上建造了望海堂，藏書近萬卷。其後楚材的曆代先輩均有較高的漢文化修養。特別是他的父親耶律履，精通儒、釋（佛）、道，能用漢文寫一手漂亮的文章。這些對耶律楚材的影響都是很大的。
耶律楚材 2 歲的時候，他的父親就去世了。他是在母親楊氏的養育與教誨下成長起來的。楊氏是當時名士楊曇之女，出身於書香門第，具有較高的文化修養，被封為漆水國夫人。她謹遵丈夫希望楚材學有所成、光宗耀祖的遺願，對楚材的教育抓得很緊。她除傳授兒子啟蒙知識外，還經常給他講古人“頭懸梁”、“錐刺股”等刻苦學習的故事，教導他從小樹立遠大誌向，使楚材從少年時代起就勤奮好學，知書懂禮。