耶律楚材是契丹皇族的後裔，遼朝東丹王耶律突欲的八世孫。耶律突欲是契丹皇族中最早接受漢文化的人之一，他治理東丹，一概采用漢法。他對中原文化十分推崇，有很厚的漢學功底，契丹貴族內部動亂時他逃到中原度過了其後半生。他的後代有一段時間也是在中原生活的，後來才輾轉回到遼並成為金朝的貴族。
耶律楚材是個精通漢族文化的契丹人，他是遼朝開國皇帝耶律阿保機的九世孫，從小博覽群書，天文、地理、曆法、數學、醫學，三教九流，無不精通，他也做過金朝的小官。公元1215年成吉思汗攻下中都(今北京市)，聽說耶律楚材很有才能，就下令召見他，讓他在自己身邊辦事，叫他“吾圖撒合裏”。“吾圖撒合裏”就是蒙古族長胡子的意思。
後來，耶律楚材跟隨成吉思汗西征，因為他會星象占卜，預言常常應驗，所以成吉思汗對他更加器重。成吉思汗去世以後，窩闊台即位當了大汗。他重用耶律楚材，使耶律楚材在改變蒙古國的統治方式和剝削方式上發揮了更大的作用。
蒙古國雖然有貴賤尊卑之分，但是從來沒有像中原地區封建王朝那樣有嚴格的君臣之別。窩闊台被選為大汗之後，耶律楚材對察合台說“你雖然是大汗的哥哥，但是從地位上講，你是臣子，應當對大汗行跪拜禮。你帶頭下跪了，就沒有人敢不拜。”於是，察合台就率領黃金家族和各級長官向大汗窩闊台下拜。從此，蒙古國有了尊汗的下拜禮。
蒙古建國之初，實行軍政合一製度，隻有萬戶、千戶、百戶等統率軍隊的長官，沒有治理政事的長官。耶律楚材為了改變這種狀況，提出建議：“地方上應設置官吏統治老百姓，另設萬戶總管軍隊，使軍政互相遏製，防止獨斷獨行。”窩闊台采納了。窩闊台還根據他的建議，在中央設立了最高行政機構中書省，任命耶律楚材為中書令(宰相)。
蒙古軍隊侵略亞歐各國和征服國內各民族的時候，曾有這樣的規定：凡是進攻敵人的城鎮，隻要對方進行抵抗，一旦攻克，不問老幼、貧富、逆順，除工匠外，大部分殺戮，少數婦女和兒童成為奴隸。耶律楚材就建議：凡是很巧的工匠，擁有財富的大戶，都集中在汴京城裏，這些人一概不能殺。窩闊台覺得有道理，采納了耶律楚材的建議。從此，蒙古軍隊屠城的事漸漸減少了。
蒙古國原來並沒有製定完整的法律。耶律楚材便提出《便宜十八事》作為臨時法律，嚴禁地方官擅自濫殺老百姓，不準商人財主貪汙公物，打擊地痞流氓殺人盜竊，禁止地主富豪奪取農民田地，這樣，社會秩序就漸漸安定下來。此外，耶律楚材還主張用孔孟之道作為治國治民的準則，選用儒生來擔任各級官吏。
耶律楚材不愧為“治天下匠”，為蒙古國的發展作出了重要貢獻。但是，窩闊台去世之後，耶律楚材就不再被重用了。耶律楚材輔佐成吉思汗和窩闊台治理國家將近30年，於公元1244年去世。人們為了紀念耶律楚材的功勞，專門為他修建了祭祠，至今還保存在北京頤和園裏。