耶律楚材，北方契丹族人，遼皇族的子孫，出生地在燕京（今北京）西山。複姓耶律，名楚材。金章宗明昌元年（1190年）六月二十日，一個新的生命在尚書右丞耶律履的宰相府中誕生了。他是遼朝開國皇帝耶律阿保機的九世孫，耶律履這年60歲，老來得子，自然非常高興。在這以前，耶律履雖然已經有了兩個孩子，這時都已長大成人，可是其才平平。因而對這個晚年所得的幼子，他寄予很大的期望，常常對家人說：“這孩子是我們家的千裏駒，將來必定能夠成就一番偉大的事業。”耶律楚材出生時，遼國已經被金所滅幾十年了，此時金國的統治政權也已經搖搖欲墜。耶律楚材的父親是一個有預見的人，他就借用《左傳》中“楚雖有才，晉時用之”的典故，為兒子取了一個寓意深遠的名字——楚材，字晉卿。這個名字，寄托了父親的美好願望。即使金國滅亡了，也希望兒子能通過其他途徑成就一番事業。果然，耶律楚材這個金國的人才最後成了蒙古國的著名丞相。
耶律楚材三歲時，父親便去世了。其父為官清廉，又樂善好施，沒有攢下殷實的家產。母親楊氏是當時名士楊曇之女，出身於書香門第，自幼讀書，很有文才，有較高的文化修養。她遵從丈夫希望楚材學有所成、光宗耀祖的遺願，帶著他從上都（今北京）回到老家東丹（今遼寧北鎮一帶）。在醫巫閭山的桃花洞南部的懸崖上修了兩間小屋，教兒子刻苦讀書。母親把全部心血和希望放在孩子身上，母親曾經做詩言誌：“挑燈教子哦新句，冷淡生涯樂有餘。”在那裏，母親耐心細致地教，而耶律楚材非常刻苦用功地學，母子倆雖窮苦但也其樂融融。正是在母親的精心撫養和教育下，短短幾年，他學到了很多知識和做人的道理。他秉承家族傳統，學習漢文典籍，精通漢文，博覽群書，旁通天文、地理、律曆、醫卜及釋道之學，還寫得一手好詩。金章宗泰和六年（1206年），耶律楚材17歲，根據他學習的情況已經可以出仕了。按照大金國的製度規定，宰相之子可以賜補省掾（在朝廷各部門管理文書、處理日常事務的官吏），耶律楚材的兩個兄長都是這麼做官的。可是耶律楚材卻不要這個特權，希望參加正規的進士科考試。金章宗認為舊的製度不應輕易更改，特別下了一道敕令要當麵對他考試，親自過問了幾件疑難案件的處理過程，同時參加考試的十七個人中，耶律楚材答得最好，便被正式任命為某個政府部門的掾官，協助長官掌管文書，處理日常行政事務。後來又被正式任命為開州（今四川開縣）知事（一縣之行政長官，同“知縣”）。25歲那年，耶律楚材就任金國丞相完顏暉手下的左右司員外郎。