耶律楚材自幼生長在金朝國都中都（今北京），當時中都是金國政治、經濟、文化的中心，金國統治者把大批南方的文人和經書都集中到此。耶律楚材出身於官宦家庭，因而有機會接觸到漢文化的儒家經典。
幼年的楚材聰明好學。有一次，楊氏看小楚材學習的時間很長了，就領著他到後花園散步，花園裏其他的小孩都在追逐玩耍，母親對耶律楚材說：“你去和小夥伴們玩吧，我到書房中等你。”說完楊氏就回書房了。一會兒，小楚材就跑進書房。楊氏問：“你怎麼這麼快就回來了？”楚材說：“媽媽，你教我的漢字我還沒練完呢！等我練完了再去玩。”楊氏用手摸著楚材的腦袋，眼淚掉了下來。這一年，耶律楚材才7歲。
從13歲開始，耶律楚材大量閱讀了中國曆史上的《詩經》、《尚書》、《論語》、《易》、《春秋》等文史哲經典著作。到了17歲，已經是“書無所不讀”，並且文章也寫得很好。他經常到家鄉附近風景秀麗的玉泉山一帶遊玩，玩到高興處往往寫詩作文抒發胸懷。玉泉山華岩殿後麵有一個七真洞，洞裏曾留下他刻寫的不少詩詞。
幼年喪父，耶律家的衰落，對耶律楚材的成長當然要發生很大的影響。耶律履雖然官居宰相之職，俸祿可能很優厚，但他平時仗義疏財，樂善好施，受到人們的稱讚，“文獻陰功絕比倫，昆蟲草木盡承恩”，卻不善於置家，一旦去世，竟然沒有給家人留下一份可觀的遺產。後來，耶律楚材在自己的詩中回憶他的父親：“入仕三十年，廟堂為柱石，重義而疏財，後世遺清白。”不會完全是假話，“我考文獻公，清白遺四壁”，大概確實是沒有很多遺產的。盡管這會給他們的生活帶來某種程度的拮據和不便，有時不免感歎“餘生歎不辰”，但貧困的生活也能磨煉有誌者的意誌，“貧困誌不渝，未肯忘平昔”。耶律楚材表示堅決要幹出一番事業來。
耶律楚材在父親去世後，經濟狀況雖然不太好，但學習的條件還是優越的，經過他的艱苦努力，短短幾年中，竟然學到了不少知識。據說，他博覽群書，旁通天文、地理、律曆、術數及釋老、醫卜之說。而且文思敏捷，下筆為文，奮筆直書，很少改動，好像頭一天就作好了似的。
楚材雖然幼年喪父，靠母親楊氏撫養長大，但畢竟是宰相門第，父親在世時又受到皇帝高度重視，所以，仍有一些高官顯宦常與他們家來往。這些人經常談起官場上的事情，加上楚材自己對社會現實、百姓生活的觀察，激發了他為國為民做一些事情的願望。而當時走上官場的唯一捷徑就是參加科舉考試。按照金朝的製度，宰相一級官員的兒子，可以通過考試在中央尚書省擔任官職。耶律楚材基於自己的學問與個性，不願意依靠父親的餘蔭，參加那種含有照顧意味的考試，而決心和所有的舉子一樣進行公平競爭。這件事被皇帝完顏璟知道後，特意把楚材叫去考問他的學問根基與治國方略，感到很滿意，並降旨讓他參加正常的進士科舉考試。進士科舉考試是封建時代選用人才的最高考試形式，楚材於金章宗泰和六年（1206年）參加了這種考試。同試者有17人，獨楚材的試卷對答最好，一舉考中了甲科。