在那漫長而孤獨的歲月中，我對自己的人民獲得自由的渴望變成了一種對所有人，包括白人和黑人，都獲得自由的渴望。
——納爾遜·曼德拉
波爾斯穆爾監獄坐落在開普敦一個風景區，北麵有斯坦提亞伯格山脈，南麵有數百公頃葡萄園。1982年3月，曼德拉等人被帶離羅本島後，就被關進了這裏。
曼德拉等4人被安排在監獄的一個頂層公寓裏居住，房間裏有4張正規的床，床上有床單和毛巾被。對於18年來多數時間都睡在鋪著薄席的石頭地板上麵的他們來說，這是十分奢侈的，就像住進了五星級酒店。
波爾斯穆爾監獄的待遇也和羅本島不能同日而語。犯人每頓飯可以吃到沒有變質的肉和蔬菜；允許看更多的報紙雜誌，包括《時代周刊》和《衛報周刊》等；屋頂上還有一條長長的走廊，白天可以在那裏休息、散步；曼德拉甚至還有自己單獨的書房，可以在那裏寫信、看書；還有一個調頻收音機，曼德拉抱怨：“隻能收聽南非台而聽不到英國廣播電台”。
轉到新監獄後，曼德拉還和往常一樣，早晨4∶30起床，然後在公共房間鍛煉一個半小時。每天重複著同樣的鍛煉內容：跑步、跳繩、仰臥起坐、俯臥撐。同屋的人不喜歡早起，所以曼德拉這些鍛煉項目很快使他在牢房裏成了一個不受歡迎的人。
在波爾斯穆爾監獄，曼德拉發現樓頂上整天都能見陽光，於是在那裏開辟一個菜園。曼德拉請求監獄後勤部門給提供了16個大油桶，並讓他們把油桶鋸成兩半，裝上潮濕、肥沃的土壤，製成了32個大花盆。
曼德拉回憶說：“我種上了各種蔬菜，如洋蔥、茄子、卷心菜、花菜、豆角、菠菜、胡蘿卜、黃瓜、球形甘藍、甜菜、生菜、番茄、辣椒、草莓等。最多時，我在這個小小的農場裏種了接近900棵植物，這個菜園遠比我在羅本島上經營的菜園要大得多。”
1984年5月，當局允許曼德拉與夫人進行“接觸性”探視了。當有人告訴曼德拉夫人可以和曼德拉單獨會麵時，她嚇了一跳，以為曼德拉可能生病了。曼德拉回憶說：“當時，她來到門口，我們兩人不知不覺地就來到了同一個房間，後就彼此相互擁抱在一起。這麼多年以來，這是我第一次吻抱我的妻子。算起來，我已經有21年沒有碰過我夫人的手了。”
曼德拉等人在監獄的生活條件得到改善的同時，監獄外的反種族隔離運動正在風起雲湧。1980年6月，非洲人國民大會遊擊隊向3個主煤成油裝置投擲了炸彈，一時間火光衝天，50英裏以外的天空都被照亮了。《蘭德每日郵報》稱，南非如今已經陷入“革命戰爭的狀態”。
1981年1月，白人當局的報複行動開始了，在南非總統博塔的授意下，一支軍隊入侵莫桑比克，襲擊了位於莫桑比克首都馬普托的3棟大廈，並殺害了13名非洲人國民大會成員。曼德拉給坦博寫信說：“博塔之所以不惜侵犯主權國家的領土完整，殺害手無寸鐵的難民，無非就是想要贏得選舉，繼續執政。我們的下一次行動將更加徹底。到時候，越來越多的政府支持者會意識到國民黨正在把這個國家帶向萬劫不複。”