回去之後，楊過隨意用了些飯菜，心裏無比懊悔。若是不下扁舟……唉，不下又如何，兩個人那麼重，那個瘋子恐怕就逃不掉了。
至於郭芙，早被他仍在了腦後。郭芙雖然受傷，隻是有桃花島靈藥九花玉露丸，很快就蘇醒了。
下午，見楊過一個人蹲在窗台上望天，郭芙拍了拍他的肩，說：“楊過，你想什麼呢？”
楊過不喜歡她，依舊不理。郭芙心裏便有了氣。這桃花島上，誰不把她當做寶貝？先前，覺得和柯公公呆在一起也不煩悶。但自從見了楊過之後，便想著和他一起玩鬧，偏偏楊過不識好歹，總是愛理不理。郭芙心裏委屈，便喊道：“楊過，你神奇什麼？你別以為我不知道你是什麼人！小心我把你的事情全部告訴娘親，將你趕了出去。”
楊過卻想著，趕出去更好，誰稀罕這裏啊。是而，依舊不理郭芙。
郭芙難受地跺了跺腳，見母親扶了柯公公過來，便喊道：“楊過，你不要以為我不知道你和歐陽鋒的關係。我聽到你叫他爹，你說是不是？”
楊過冷笑一聲，說：“是又如何？”
郭芙說：“那種壞人，人人見殺，你居然叫他爹。你還……害我差點被他打死！”
郭芙明知當時楊過求情，她才能逃過一死。這會兒心裏有氣，便顧不得那麼多了。隻希望母親可以重重懲罰楊過，好出口氣。
她卻沒想到，這口氣出得太大了。柯鎮惡當時便揚了鐵拐，要打死楊過。好在黃蓉在一旁，阻止了他。但是，柯鎮惡依舊餘怒難消，忿忿不平地嚷著要離開桃花島，不想見到楊過。柯鎮惡大嚷不已，郭靖聽到，忙趕了過來。
黃蓉聽信了郭芙的話，心裏恨楊過害了自己的女兒，雖然看在郭靖的麵子上沒由著柯鎮惡打死楊過，卻也不希望楊過留在這裏。她大致將事情說了一番，又說：“桃花島是大師傅的家，怎麼能讓大師傅走呢？”
郭靖又是氣又是擔心，一巴掌就要扇到楊過臉上。楊過倔強地偏著頭，郭靖心裏一軟，又扇不下去了。他求救地望著黃蓉，問道：“蓉兒，你再勸勸大師傅吧。”
柯鎮惡冷哼幾聲，說：“無論如何，我是不要看到這個人了！”
黃蓉想了想，說：“靖哥哥，我倒有一個好法子。全真教是天下武學正宗，你也曾拜師全真教。要麼，你將過兒送去全真教學武，也是好事一樁。”
郭靖一向尊敬柯鎮惡，又及聽黃蓉的話，稍稍想了想，便答應了。
郭芙沒想到事情居然會這麼嚴重。她隻想稍稍懲罰楊過，好叫楊過順著她。這會見楊過要走，也不知道什麼時候才能相見，眼淚便落了下來。
楊過雖是天天想著離開，這會兒真要離開桃花島，心裏卻有些黯然。隻是，桃花島依舊是呆不下去了，倒不如走了的好。便，重重地應了下來。
楊過，終究還是被送往了全真教。