三郎依言又去二哥家，見了二嫂道：“二嫂呃，我要飯沒衣服穿，你能不能找件二哥的舊衣服給我穿穿？”二嫂道：“你二哥穿下來的破衣服都沒得一件多，我都要用來納鞋底的，要麼把你爹留給我們的那頂破氈帽拿了去，戴在頭上下雨天也可以擋擋雨。”三郎拿了那破氈帽又直奔張老相公處，問其好處。張老相公說：“你把它戴在頭上，隻要說句想去哪兒，它就能帶你飛到哪兒！”
三郎立即將氈帽戴在頭上，說了句：“給我到小姐那裏去！”果然就見自己輕飄飄地飛了起來，一直飛到那大戶人家的家裏，又徑直朝一個開著的窗口飛進去，才停了下來。隻見小姐正在床上酣睡，三兒湊近那床頭，隻覺得小姐口裏呼出的那股氣息都香甜得不得了。三郎便又感到心裏似乎有萬千隻蟲子都在癢癢地抓著，背起小姐香香軟軟的身子，又戴上那頂破氈帽便走。
三郎這回未說要去哪兒，所以那頂破氈帽帶著他和已經醒過來了的小姐飛啊飛，一直飛到一個寸草不生、荒無人煙的荒島上才停了下來。入夜，小姐趁三郎熟睡之際，戴上那頂破氈帽說了句“給我回家”，便棄下三郎飛走了。
天亮，三郎醒來，既不見了小姐，又找不到了那頂破氈帽，知道自己又把最後一件寶貝也陪進去了。慘的是這回自己是被孤零零地遺棄在這麼一座荒島上，怕是跟這破氈帽一起搭上的，還有這條命。
太陽從海裏出來了，像個紅彤彤的大汽球在冉冉升起。跟著這太陽一起冒出來的還有島上兩棵棗樹，一棵紅棗樹，一株黑棗樹，一個哈欠的工夫，那兩棵樹便已長得有一人多高，又頃刻之間，樹上就結出一顆顆拳頭大的棗子來。
三郎已餓極，隨手摘了一顆黑棗往嘴裏塞。才吃完核兒還留在嘴裏，兩顆眼珠子便一下子被呼地彈了出來，想必有一寸多長，像個吊死鬼似的，模樣極為駭人，隻是性命還好好兒的在。三郎想著三件寶貝都已失去，小姐人也跑了，自己又落到這般境地，已是萬念俱灰，想索性還是再吃一顆紅棗吃死算了！哪想到這紅棗一落肚，兩顆眼珠子又嗖地縮進去了。這便使他發現一個規律：黑棗能使眼珠子彈出，紅棗又能使眼珠子縮進去。
三郎便日日以這兩棵樹上的棗子充饑，眼珠子一天數次地重複著彈出來又縮進去的把戲。如此苦熬了數日。一天忽遠遠瞧見海麵上有一艘船往這邊駛來，急忙爬上其中一棵棗樹，又將身上的衣服脫下來拿在手裏奮力地揮動著。那船上的人是專門航海做珠寶生意的，經常路過這一帶，知道這荒島上一直是寸草未生。今日卻意外地遠遠望見島上生了兩棵樹，更近些了，又見樹上有人在拚命地朝他們揮舞著衣巾，大聲喊著“救命！”以為這人也跟他們一樣是做珠寶生意的，途中遭遇風暴被潮水衝到這兒來的，便把船靠了過去。
三郎各摘了兩顆黑棗和兩顆紅棗藏在懷裏。臨上船時又想得從這島上帶些東西回去以作紀念，找來找去也尋不出什麼，隻見腳邊有一塊半隻豬槽大的四四方方的石頭，四麵仿佛用刀裁過般的光滑、平正。便隨手將它搬到了船上，想一會兒船開動時可以墊屁股用的。
船漸漸地離了岸。三郎扭過頭去回望了一眼，兩棵棗樹都已消失得無影無蹤，島上又恢複成剛開始見到的那樣光禿禿的一片。三郎坐在那塊石頭上覺得有說不出的舒服，便打著哈欠伸展了四肢，漸漸地顯露出些得意忘形的恣態來。船老大看著氣不過，道：“我們救了你，你也該出出力，過來幫我們搖搖船答謝答謝！”三郎說：“我從未搖過船，要是會，早過來接替你了！”船老大道：“這船很好搖，你一學就會了！”三郎隻得站起身來，硬著頭皮接過那櫓杠。
船老大空閑著雙手，也想坐到他那塊石頭上去好好歇歇，誰知屁股一上那石頭，便如有萬千根鋼針在紮般疼痛難受。再換了別的人坐上去，也一樣難受。
船到達目的地，即有許多珠寶店的老板過來收購珠寶。本地一位生意做得最大的珠寶店老板一眼就瞧上了那塊石頭，問三郎這石頭賣不賣？
三郎隻道這人吃飽了飯沒事做，在尋自己開心，便也沒正經道：“賣呀，隻怕我要的價錢你吃不消呢！”
珠寶店老板伸出一個指頭道：“一千兩你賣不賣？”
三郎笑笑。
珠寶店老板又添了個指頭：“兩千？”
三郎吹了聲口哨。
珠寶店老板把五個指頭都叉開了，在他麵前晃動著：“五千？”
三郎這才意識到是對方是當真的，便不動聲色道：“你當真要買，就開個實實在在的價格。”
珠寶店老板想了想，咬咬牙道：“那麼一萬兩，這總該差不多了吧？”
三郎盯著對方的眼珠子，想這老頭兒別是中了什麼邪！
珠寶店老板見他那副一眼盯著自己，未置可否、似笑非笑的樣子，太陽穴裏的筋都粗起來了，嘶聲道：“十萬兩——十萬兩銀子你總該肯賣了吧！”
三郎想看看這人的邪究竟中到什麼程度，又尋思做買賣跟賭博不一樣，賭桌上無回頭路可走，但做生意還可以把說過的價格回頭再提起，便又慢條斯理地搖了搖頭。
又有許多開珠寶店的生意人過來了。珠寶店老板終於沉不住氣了，道：“我一共開了十八爿珠寶店，總資產少說也值百把萬。我拿我這所有的資產跟你換這塊石頭如何？”
三郎還未嚐過做店老板的滋味，何況又是十八爿珠寶店鋪的老板，想想那情狀肯定很威風，這回便答應了。
雙方寫了字據，找人做了保。待十八爿珠寶店的契據一拿到手，許三郎便回了趟老家，徑直去找張老相公，告知在荒島上的冒險經曆和奇遇。張老相公點評道：“你背上小姐後未說去哪裏，它自然要找有寶貝的去處——寶貝找寶貝，這跟人一樣，總是找跟自己氣味相投的人聚在一起。至於那位珠寶店老板實在是個識貨之人，這石頭是由海上各珍寶精氣所凝聚而成，須經上萬年才可成。別說那位店老板的十八爿珠寶店鋪，就是天下所有珠寶店也僅能換得了這一石！”
三郎說：“十八爿珠寶店鋪就已足夠令我一輩子都吃喝不盡了，再多換，到頭來也終是人家的。我這番來，還另有一事相求。”便掏出那幾顆從島上帶回來的棗子，將自己的計謀跟張老相公一番說。
次日，小姐還未起床便聽見外麵有人在叫賣棗子。這一帶離市鎮不遠，平常也總能聽到外麵有叫賣聲。誰知這賣棗子的似乎哪也不去，一整天都呆在了這大戶人家的門口叫賣。小姐聽得心頭煩起，喚丫頭出去看看這叫賣棗子的是不是哪根筋搭一塊兒了。丫頭回來稟報說，是個老頭，賣的黑棗從未見過有這麼大的，隻怕比小姐的拳頭還大，黑亮黑亮的非常好看。
小姐也生了好奇，親自跑出去看。那賣棗老頭將手裏拎著的一籃黑棗拿到她麵前，隻見底下的黑棗都跟平常的差不多，看起來並不稀奇，唯放在最上麵的兩顆黑棗果然比自己的拳頭還大得多，亮晶晶的似乎還會發光。賣棗老頭殷勤兜售道：買一斤黑棗，便可贈送這麼大的一顆棗子；買一籃，這兩顆棗子便都白送。
小姐反正有的是錢，就把這一籃棗子全買下了。老頭收下棗錢的時候，又叮嚀道：“這大黑棗須是有身份的人吃了才見好處，丫頭嬤嬤都還不配吃。”
回到園子裏，小姐瞧著那兩顆黑棗，越瞧越覺得誘人，便迫不及待地讓丫頭替她把其中一顆的棗皮剝了，撮著紅唇一口一口地細細地啃咬起來，越吃越停不住口，就把一整個拳頭大的黑棗一口氣吃光了。還來不及用香巾小心翼翼地抹一抹嘴，兩顆眼珠子便呼地一聲都囫圇圇地一下子彈了出來！丫頭們看了都嚇得要死，慌忙去稟報員外。
員外來了，看見女兒這副模樣也嚇得幾乎被暈了過去。所幸人還是好好的，性命方麵沒有什麼大礙。員外請遍所有能請到的郎中，都無人能醫治他女兒這一怪病，隻得在城裏貼了布告，征求天下良醫，並許諾能醫治小姐怪病者，不管老少、貧賤富貴，都可娶小姐為妻。
布告一貼出，即被早已候在那裏的許三郎揭走了。
到了大戶人家家裏，三郎取出一顆紅棗給員外，讓他去給小姐食下。小姐食了該棗後，眼珠果然馬上就恢複了位置。員外因有言在先，又見三郎長得俊秀，人也聰明俐伶，便當即給他們成了婚。