曼德拉在羅本島上服刑時，有一台簡陋的收音機，收聽體育賽事的轉播。當時，足球比賽是囚犯們最大的快樂源泉。但是，由於實行種族隔離製度，1970年，國際奧委會將南非正式除名，並禁止其會員與南非有任何體育往來。
事實上，國際社會對南非的製裁還不光體育這一項。1965年，聯合國就宣布對南非實行經濟製裁。然而，由於資本的趨利性，一些歐洲和美國的大公司在南非有利可圖，這種製裁並未得到很好的執行。直到“冷戰”結束後，西方大國才逐步加緊對南非的經濟製裁：首先是法國召回駐南非大使，並凍結在南非的投資；接著，北歐和加拿大、澳大利亞、新西蘭也開始對南非實行經濟製裁；1986年，美國國會通過《全麵反對種族隔離法》，禁止向南非投資和貸款，禁止從南非進口鋼鐵、煤炭、黃金、紡織品，並中斷美國和南非的航線。
1932—1972年的幾十年間，南非的國內生產總值持續高增長，到1980年達592億蘭特，平均7.3年翻一番。直到西方大國對南非的“緊箍咒”逐步受緊，“經濟奇跡”難以為繼，1970年代末經濟減速，1982年首次出現負增長。
而國內外此起彼伏的反種族隔離運動更讓南非當局感到雪上加霜。
1982年4月1日下午，監獄長來到曼德拉的牢房，通知他趕快收拾隨身物品，要從這個島上轉移。同樣被轉移的還有沃爾特·西蘇魯、雷蒙德·穆拉巴、安德魯·木蘭基尼。
暮色中，曼德拉一行人登上了開往開普敦的輪船，緩緩駛離了這個生活了20年的地方。臨行前，曼德拉將一封信匆匆塞到白人獄警詹姆斯·格列高裏的手裏。
這封信是這麼寫的：
士長格列高裏：
20年來我們共同度過的美好時光，今天結束了。但是我會永遠記住你，謹向你和你全家致以我最誠摯的問候，並請接受我最深厚的友情。
納爾遜·曼德拉
格列高裏是看守曼德拉的獄警，他跟曼德拉整整相處了18年。格列高裏起初認為，曼德拉是一個“恐怖分子”。漸漸地，他被曼德拉身上自強自尊和深沉含蓄的氣質打動了。後來他回憶說：“我那時對他們那些黑人領袖仍持有偏見，認為像政府宣傳的那樣，他們要殺害我們的家人，奪走我們的家園，實行多數黑人統治。通過一段時間的接觸，我發現曼德拉是位天生的領袖人物，我開始尊敬他。”
曼德拉被列為羅本島的“頭號政治犯”，但他自始至終都很溫和。在格列高裏記憶中，20年裏，他隻見曼德拉發過一次火。一次，一個白人獄警譏笑曼德拉，說他是個浪費時間的“黑鬼”。曼德拉極其氣憤，他用顫抖的聲音狠狠地說：“你身上隻有這一件製服讓我尊重。別以為有朝一日你的白皮膚會拯救你。”
在看管曼德拉的15個白人獄警裏，格列高裏與曼德拉關係最融洽。他們經常在一起聊天，談各自的遭遇和各自的家庭。格列高裏回憶道：“我們喜歡獄中花園內安靜的一角，坐在一棵高大的橡膠樹下交談，互相理解，從不為政治問題爭論，彼此尊重各自的意見。”
格列高裏也很尊重曼德拉的夫人溫妮。有時候，溫妮探監時坐下來等曼德拉，格列高裏則很詼諧地說：“您的丈夫馬上就來。他正在衝澡和刮臉。為了您，他非要打扮得瀟灑漂亮不可。希望您不要在意這幾分鍾的延誤。”溫妮感到很奇怪，因為從來沒有獄警這麼和氣地對自己說過話。
曼德拉和格列高裏的共同不幸遭遇也使兩人更接近。1970年，曼德拉的大兒子因車禍不幸身亡。4年以後，格列高裏的兒子也死於車禍。這種相同的家庭悲劇使兩人經常長時間懇談。格列高裏還抽出時間為曼德拉處理家庭危機。當曼德拉因小兒子馬克加索不肯上學而焦急不安時，是格列高裏出麵硬是把孩子送到學校，以後，又送他上了大學。而曼德拉這位黑人領袖也成了格列高裏兒子的教父。他們把這份感情看作是“比親兄弟還親”。
然而，這種不尋常的友誼在白人看守中引起了種種議論。一些人說：“格列高裏和他的犯人居然成了好朋友。”格列高裏開始承受種族主義者的侮辱。他們中有的稱他為“黑人們的情人”，有的則往格列高裏家裏打匿名電話，甚至有人揚言要在街上打死他。這種種威脅使監獄當局十分緊張，他們甚至不得不為格列高裏配備保鏢。
曼德拉走後，格列高裏也提前退休，回到開普敦郊外的家裏。每當回憶起往事，笑容便會在格列高裏的臉上洋溢，他會欣慰地說：“我真為曼德拉感到驕傲！他差不多已圓了他的夢了。”