而且出人意料的是完顏阿骨打居然還能挾帶他的老對手遼朝的開國君主耶律阿保機出來，
耶律阿保機出生時，契丹的貴族階層正在為爭奪聯盟首領之位而打得不可開交。阿保機的祖父耶律勻德實在殘酷的政治鬥爭中被殺，父親和叔叔伯伯們也逃離出去，躲了起來。祖母簡獻皇後對於這時剛出生的阿保機非常喜愛，但又擔心他被仇人加害。
因此常將他藏在別處的帳內，塗抹其麵，不讓他見外人。耶律阿保機三個月便能行走，滿百日便能說話，凡事未卜先知。自稱左右好像有神人護衛。即使在童年之時，開言便涉及國家大事。當時其伯父執掌國政，事有疑難便去向他谘問。
阿保機自幼聰敏，才智過人。
長大成人後，身體魁梧健壯，胸懷大誌，而且武功高強，《遼史》上說他“身長九尺，豐上銳下，目光射人，關弓三百斤”，值伯父耶律釋魯掌權，深得信任，耶律億任遙輦氏痕德堇可汗的撻馬狨沙裏（扈衛官），組建侍衛親軍。憑藉這支精銳武裝，阿保機迅速崛起。率領撻馬部（扈衛隊）戰勝了小黃室韋、越兀、烏古、六奚、比沙笰等近鄰小部落，阿保機的伯父被殺後，阿保機繼承了伯父的於越（地位僅次於可汗，史稱“總知軍國事”，高於夷離堇，掌握聯盟的軍事和行政事務，相當於中原王朝的宰相）的職位，並擊潰以蒲古隻為首耶律釋魯的部落豪強。相繼降小黃室韋，破越兀、兀古、六奚諸部，被國人譽為“阿主沙裏”（沙裏，契丹語“郎君”），
天複元年（901年），痕德堇可汗即位，任本部夷離堇（軍事首領），專事征伐，大破室韋、於厥及奚帥轄剌哥。進大迭烈府夷離堇。
902年（唐末天複二年），耶律阿保機以兵40萬伐河東、代北，攻下九郡，獲牲口95000，駝、馬、牛、羊不可勝數。在潢河南岸建龍化州城，將所俘漢人遷居於此。
903年（天複三年），北攻女真，俘獲三百戶；南取河東、懷遠軍，略地薊北（今河北北部），俘獲人口財物而回。升於越，總知軍國事，成為部落聯盟的實際操縱者。
天複四年（904年），討伐黑車子室韋，伏擊唐朝盧龍節度使劉仁恭數萬大軍於平原，活捉大將、劉仁恭的養子趙霸，並乘勝大破室韋。天祐二年（905年），唐朝垂亡，他應唐朝河東節度使李克用之邀，率七萬騎兵到雲州（今山西大同）相會，結為兄弟，約定共討梁王朱溫和盧龍節度使劉仁恭，但終因無利可圖而沒有踐約。
接著，耶律阿保機進兵攻打劉仁恭，攻下數州，盡數遷擄其民。
天祐三年（906年）二月，阿保機又攻打劉仁恭，回軍途中，襲擊山北奚人，破之。朱溫派人渡海奉上書幣、衣帶、珍寶前來交好。十一月，派偏師討伐奚、靅諸部及東北女真中尚未歸附的部族，一概攻破降服之。十二月，痕德堇可汗卒，遺命推選阿保機為汗。
耶律曷魯等人勸進。阿保機多次辭讓，後來接受了請求。按照傳統製度，可汗之位要三年改選一次。阿保機的目標是像中原的皇帝一樣建立終身製和世襲製，所以在他任可汗滿三年時不肯交出大權，憑借他的實力和威望繼續坐在可汗的寶座上，向皇帝的目標努力。
開平元年（907年）正月，為契丹大首領，即皇帝位，尊母蕭氏為皇太後，立皇後蕭氏。北宰相蕭轄剌、南宰相耶律歐裏思率群臣上尊號曰天皇帝，皇後曰地皇後。阿保機以皇族承遙輦氏九帳為第十帳，以弟耶律迭栗底為迭烈府夷離堇，設官統領部眾。二月，征討黑車子室韋，降服其八部。十月，征討黑車子室韋，破之。
開平二年（908年）春正月初一，阿保機禦臨正殿受百官及各國使節朝賀，初次設置惕隱官，管理宗室事務，以皇弟耶律撒剌任宗正。五月，令耶律撒剌討伐烏丸、黑車子室韋。
開平三年（909年），命皇弟舍利素、夷離堇蕭敵魯與滄州節度使劉守文一起大破其弟劉守光。