番僧來到夾山找到了耶律延禧之後，將趙佶的禦筆絹書給了耶律延禧。
耶律延禧也給趙佶寫了回信。
剛開始時，這事雙方都很注意保密。
但隨著往來次數增多，知道此事的人也越來越多，最後差不多人盡皆知，金人自然也知曉了。
金人之所以對這個番僧不動聲色，不進行抓捕，是因為他們也在利用這個機會，在等待著耶律延禧離開地形複雜的夾山。
耶律延禧的日子過得實在是太苦了，便給趙佶回信，答應來大宋“避難”。
趙佶於是改禦筆絹書為詔書，欲納耶律延禧為臣，並且向耶律延禧保證，隻要耶律延禧來大宋，他便以兄之禮對待耶律延禧，讓耶律延禧的地位在他的兩個兄弟燕王和越王之上，還給他房舍千間，女樂三百，大大的優待耶律延禧。
見趙佶這麼有誠意，耶律延禧大喜，於是跟大宋方麵約定歸降的時間，請大宋方麵派人來接應。
趙佶於是讓童貫暗中接應耶律延禧。
這期間，因為完顏宗翰一直駐紮在雲中，耶律延禧一直不敢出山。
直到今年冬，耶律延禧突然聽，完顏宗翰回到金國奏事去了，不在雲中，這才敢率眾出山，準備逃去大宋。
耶律延禧並不知道，這其實是完顏宗翰的計策，此時金軍正張網以待，等著耶律延禧自投羅網。
不久，耶律延禧帶著他所有的馬匹和財富以及他新納的幾個妃嬪離開夾山，開始了浩浩蕩蕩的大搬家行動。
可耶律延禧率軍剛過雲中，就接到報告，金軍以大軍截斷了他們的退路，完顏宗翰正親率大軍來攻擊他們。
耶律延禧大驚，急令大軍扔掉沒有的輜重快速向武州挺進——耶律延禧想要繼續往南逃，去投靠大宋。
金人將蔚州、應州、新州與雲中府的漢兒鄉兵組成先頭部隊追擊耶律延禧，而將一千餘女真騎兵埋伏在耶律延禧必經的山穀之間，以逸待勞。
當耶律延禧率軍走到奄遏下水（後世內蒙古涼城縣西岱海）之西時，女真騎兵突然從耶律延禧所率領的韃靼軍背後殺出，韃靼軍頓時潰亂。
一番交戰之後，遼軍死傷無數，然後有的被擒，有的投降，有的四散逃亡。
耶律延禧急忙趁亂往南而逃。
完顏婁室親率五百騎兵，一路緊追耶律延禧不放。
耶律延禧本打算直接去武州，繼續南投大宋。
可當耶律延禧跑到武州附近時，有一個隨行僧人勸耶律延禧不要去大宋，這僧人：“南朝弱，必不敢留，隱當為女真所索，等辱不可再辱，莫若徑歸女真，亦不失為王也”。
或許是耶律延禧覺得這僧人言之有理，覺得大宋未必敢收留他，遂改變計劃，又轉向西逃。
曆盡千辛萬苦，耶律延禧終於逃到了山金司。
山金司在陰山，因為陰山產金，遼國在此置冶采煉，故名山金司。
耶律延禧來到山金司後將其改為統軍司。
兩個月後，黨項骨碌部族派人來到山金司請耶律延禧去他們部族中避難——骨碌部族是黨項一個很的部族，分布在德軍和雲中之間，以前一直臣屬於遼國。
耶律延禧打算與骨碌部族首領一起投靠西夏，遂急忙趕往德軍——耶律延禧計劃從那裏過沙漠，前往西夏。
途中，耶律延禧一行人，忽然又與金兵遭遇。
耶律延禧隻能再狼狽而逃。
這次，耶律延禧更狼狽，連馬都跑丟了，徒步跑了好幾十裏。
後來，耶律延禧連帽子都跑沒了。
眼見著金兵就要追上來捉到耶律延禧了，他的一個叫張仁貴的部將先一步趕到，然後將他的馬給了耶律延禧，耶律延禧這才得以逃脫。
逃脫以後，耶律延禧沒有禦寒的東西，他的護衛太保蕭仲恭將自己的貂裘帽給了耶律延禧。
途中，一行人沒糧了，耶律延禧隻能吃幾棵忠仆給他找到的棗子充饑，渴了，隻能吃兩把雪解渴。
過了德軍之後，有晚上，耶律延禧一行來到一個農家借宿，隨行人員不敢暴露身份，騙這人家他們是偵騎。
隻可惜，這家人並沒有相信耶律延禧他們所的，他們猜到了耶律延禧的身份，然後哭著跪拜耶律延禧。
耶律延禧藏在這家人家裏，居住了數日。