然而，一個新來歸順的儒生想在以武力取天下的軍事貴族中，取得充分的信任和鞏固的地位，是很不容易的。有個名字叫常八斤的西夏人，因善造弓弩而受到成吉思汗的寵用，這更增添了這位武夫的矜驕，他不把文人放在眼裏，有一次竟然當著耶律楚材的麵對成吉思汗說：“現在國家正是用武的時候，像耶律楚材這樣的儒生，對打仗的事一竅不通，要他有什麼用呢？”耶律楚材聽了當仁不讓，針鋒相對地回敬道：治弓尚且須用治弓匠，難道治天下就不須用治天下匠嗎？”成吉思汗聽了這機智的詞鋒，巧妙的辯詰，從內心折服，更加重用他了。成吉思汗曾對其子窩闊台說：“此人乃天賜我家，爾後軍國庶政，當悉委他處置。”
從蒙古太祖十四年到二十年（公元1219年—1225年），成吉思汗進行了著名的西征，其目的主要是對中亞的花刺子模用兵。出師的那天，時值夏六月，卻忽然狂風驟雨，黑雲密布，轉瞬間大雪紛飛，深達三尺。有人懷疑用兵是否有利，成吉思汗也有疑慮，不知此為何兆？於是，立即把耶律楚材召至帳前，卜問吉凶。耶律楚材具有相當高的科學水平，他了解日月星辰運行規律，可以測知月蝕之期和修訂曆法，但此刻他沒有簡單地按大自然的規律去解釋天象，而是以一位精明的政治謀略家的思維，巧妙地利用包括成吉思汗在內的蒙古將士對天文、星象無知而又非常迷信的心理，以及蒙古軍人對花刺子模國的行為義憤填膺、誓死雪恥的軍心，毅然斷言：“隆冬肅殺之氣見於盛夏，這正是我主奉天申討，克敵製勝的好兆頭。”成吉思汗盼的就是這種吉相。於是，迅即發十萬大軍向花刺子模國殺去，1222年，蒙古軍全部占領了花刺子模國和中亞。成吉思汗把這次西征大獲全勝看作是耶律楚材的卜吉所係。
公元1224年，成吉思汗取道回歸，為了對西征時西夏拒絕出兵和西夏與金國締約進行懲罰，成吉思汗決定征討西夏。1227年6月，夏主投降。城破之日，蒙軍將士爭掠女子、財物，唯獨耶律楚材僅取書數部、大黃藥材數擔。當時，同僚們對他的行為甚是不解。不久，兵士們因曆夏經冬，風餐露宿，多得疫病，幸得耶律楚材用大黃配製的藥材救命，才得以生還。這再一次證明耶律楚材獨具慧眼，見識深遠。
西夏已亡，既解除了蒙古的西顧之憂，又使金朝失卻了犄角之助。窩闊台汗三年（公元1231年），蒙古經過休養生息，又把南下滅金的行動提上了議事日程。蒙古大軍圍攻金國的汴京，遭到金兵的頑強抵抗，雙方血戰十六晝夜，城內外死傷者多達百萬，汴京仍未攻下。後來，蒙軍思得良策，聯合南宋夾擊金國，始得奏效。在汴京即將陷落前，蒙古軍戰將速不台特意奏請太宗窩闊台，要求破京屠城。耶律楚材聞訊後，急忙來到太宗的營帳奏稟：“軍士連年征戰，流血犧牲，目的就是要得到土地和百姓。得地而無民，那土地有什麼用呢？”太宗有些猶豫，一時拿不定主意。耶律楚材見正麵勸諫未果，靈機一動，便運用一個謀略家智慧的另一麵，巧借私欲來打動太宗，他說：“汴京是國都，能工巧匠、珍奇文物鹹集於此。如果屠城，大汗您將一無所獲。”太宗這才為其言所動，於是下令，進城後隻捕殺金國皇族完顏一姓，其餘一律赦免。這樣，蒙軍攻破汴京後，由於耶律楚材的智謀，使城中一百四十萬居民的生命得以保全。自此以後，屠城濫殺之風，在蒙古軍中得以廢止。