他們雖然暫時脫離了危險，但形勢卻非常嚴重。冬天來了，他們宿營在光禿禿的海灘上。他們被迫丟棄了一部分儲備品，而且更糟糕的是，他們沒有獲救的希望，因為沒有人知道他們在這裏。“持久”號的位置應該在威德爾海的南部，即離象島2500千米遠的地方，那裏才是救援隊前去尋找他們的地方。
勇敢無畏的沙克爾頓認為，28人乘坐3條小船是不可能穿過風浪咆哮的海區到附近有人煙的地方的。但其中一條最大的船卻有可能到達。這條船叫“詹姆斯·凱爾德”號，長6．8米。沙克爾頓還認為，要想從最近的地方得到幫助，就得去合恩角和福克蘭群島，但那裏的狂風和急流會把船吞掉。獲救的唯一希望是往東北方1400千米遠的南喬治亞島去求救。
沙克爾頓決定派“詹姆斯·凱爾德”號去進行這次決定他們命運的航行。
沙克爾頓雖然在海軍中服過役，但對駕駛小船卻並不內行。幸運的是，沃斯利中校有駕駛小船的豐富經驗，還有一個探險隊員也曾在北海當過捕魚手。於是，他們動手加固了小船，用帆布把雪橇和箱蓋蓋好，放在前後甲板之間的空餘地方。隊員們冒著嗆人的氣味，燃起海豹油，把凍得硬邦邦的帆布一寸一寸地烤軟，縫起來，做了一個風帆。
4月24日清晨，沙克爾頓等6個人乘著“詹姆斯·凱爾德”號，帶著30天的食物、淡水和汽化爐用的燃料，動身出發了。他們首先通過了一片奇形怪狀的碎冰群，當夜幕降臨的時候，他們衝出了碎冰群，象島在他們眼中隻是海平麵上的一個黑點了。
沙克爾頓把隊員們分成兩班，3個人觀察和操縱小船，3個人擠在甲板下潮濕的睡袋裏似睡非睡地休息，4個小時後換班。小船隨著風浪上下顛簸，睡覺的人被彈上彈下，碰得周身疼痛不已。海水不斷湧進船內，他們每隔兩小時就得往外放水。
激勵他們繼續前進的是船上的定時熱餐。燒飯時，兩名隊員坐在小船最寬的地方，背靠船幫，把汽化油爐子夾在兩腳之間，再由炊事員湯姆·克林來煮“胡什”。“胡什”是用豬油、燕麥片、牛排、植物蛋白質和鹽、糖混合製成的一種磚塊形的食品，放在水裏一煮，就變成了噴香可口的濃湯。船員們喝著湯，吃著餅幹和糖塊，沙克爾頓還要求隊員們在換班時必須飲用熱牛奶。
他們就這樣在漫無邊際的南大洋中航行了14天。突然，一名隊員欣喜若狂地喊起來：“陸地!”他們終於來到了南喬治亞島。沃斯利駕駛著小船，慢慢靠近了海島。誰知這時海上刮起了大風，大風很快轉成了颶風，小船被風吹離了岸邊。他們在海中漂泊了幾個小時，後來風向變了，風又把小船吹向海島。6個疲憊不堪的人連續戰鬥了9個小時，小船雖然沒有傾覆，海島也近在咫尺，但他們卻無法靠岸。他們眼看著猛烈的風暴把一艘從阿根廷開往南喬治亞島的500噸的船吹翻，葬入海底。
第二天清晨，沙克爾頓和他的同伴們試圖找到一個登陸點，但狂風依然不停，他們每天搏鬥著，忍受著口幹舌燥的痛苦，因為淡水已經用完了。直到夜幕快要降臨時，他們才在一小海灣處靠了岸。