在1117年到1123年之間，宋朝向金廷遣使共計七次，金朝向開封遣使也達六次，這還沒算上持續不斷的信件往來。所有這些外交接觸和談判都集中於三個要點：宋金聯合對搖搖欲墜的遼朝的進攻；領土（將燕雲十六州退還給宋）；從前交納給遼的歲幣。但是就在這一期間，宋在這場交易中的地位急劇地惡化了，因為阿骨打很快就發現，盡管宋朝也多少做了些準備，但金軍並不非得依靠宋軍的援助，僅憑自己就能攻取遼朝的南部，包括它作為中心的燕（北京）。而從宋朝方麵來說，卻以為隻要加入這個軍事同盟，它為自己所提的那些領土要求就能夠讓金所接受。不久，金也提出了自己的要求，那就是，他們應該取遼而代之，成為宋過去交納給遼的歲幣的合法接受者。
到1123年，當宋金之間終於締結了一份正式和約的時候——這是兩國間最早的一個和約——軍事形勢已經發生了根本的變化。宋朝收複燕的企圖宣告失敗，而金軍則不僅將遼趕出了西京與中京，而且到1122年底，還攻克了遼的南京：燕京。遼帝國已淪為遙遠西部的一個流亡政權，它的覆亡指日可待。隨著金國占有燕都，阿骨打的地位變得無懈可擊，宋卻隻有招架之功，而無還手之力了。他們不得不接受阿骨打關於將燕地退還給宋的條件，不僅被交還給宋的燕地並非六州的全部，而且金還以退還燕地導致稅收減少為由，在宋過去交納給遼的歲幣上，又額外要宋添加上一筆巨額補償。
阿骨打的軍事地位既然已如此強固，他又何必還要與宋締結這樣一個正式和約呢？他其實是想通過和議這一形式，他的皇帝地位得以被鄭重地承認。和議的條文，就像漢人早期的外交通例，是以一式兩份平等的誓約來表示的，從雙方各執一份的文件行文中絲毫看不出地位的區別。阿骨打被稱為“大金大聖皇帝”，而宋朝的統治者也與之相仿。這意味著金朝現在已經成為一個與宋平等的國家，而此時距金正式建國稱帝僅過去10年。
1123年的三四月間，二國互換了誓約的條文，可是，對於如何將這六州移交給宋的具體做法，在這些條文中卻毫無涉及。其他細節，諸如邊界如何劃定，也被留給此後想當然的推論來規劃了。大環境的普遍不穩，加上諸多懸而未決的問題，使中國北方邊境始終呈現出不安定的局麵。1123年的這個和約，標誌著一個漫長的戰爭時期——幾乎長達20年——的開始，這場殘酷的、蹂躪性的戰爭所幾度威脅到的，正是宋統治的中國的生存。
1122年，金兵攻陷遼中京（位於今滿洲熱河省的查幹蘇布爾汗）。遼朝天祚帝向西逃竄。在南京（今北京）另一位契丹皇族成員被擁立為帝，旋即病死。金兵直抵南京。麵對突然而至的金兵，盡管當地有人企圖抗擊，但契丹人卻無力組織這些力量。1125年，遼朝的最後一個皇帝天祚帝被俘，降封為王。這標誌著遼朝——這個曾讓宋朝的中國聞風喪膽的對手——統治的正式結束。但是，就在它的滅亡之處，作為宋的北方鄰居，現在又興起一個與它作對的國家，至少與從前的遼一樣危險。阿骨打沒能活著看到遼的滅亡和宋的受辱，他死於1123年和議締結的數月之後。但是，他所開創的事業，為金朝日後的輝煌打下了根基。
天輔三年（1129年），八月，領兵返回上京，行經部堵濼西行宮病死。葬於上京宮城西南。諡武元皇帝，廟號太祖。