20世紀40年代末到50年代初，最黑暗的種族主義統治在南非開始了。當局不斷拋出諸如“禁止混合婚姻法”、“人口登記法”、“不道德法”等法令，使非洲人麵臨著空前的民族災難。1952年初，曼德拉與其他激進分子聯合南非印度人大會共同發起“蔑視不公正法運動”，進行非暴力不合作鬥爭。“蔑視不公正法運動”向野火一樣，從約翰內斯堡和伊利莎白港開始，不斷蔓延，迅速燃遍了全國各大城市和工業中心。成千上萬的黑人第一次加入了政治運動，反對種族隔離法。作為全國誌願者的總指揮，曼德拉往返於各地組織發動群眾進行鬥爭。曼德拉對黑人解放事業的忠誠以及他傑出的領導和組織才幹很快讓他的名字傳遍了全國。1952年12月，曼德拉當選為非國大第一副主席。然而此時的南非當局企圖限製曼德拉，禁止他在六個月內參加任何集會，並將其活動範圍限於約翰內斯堡地區。從此，曼德拉的鬥爭隻能轉入幕後。曼德拉聲稱“不離開南非，也不自首。隻有通過艱險、犧牲和戰鬥行動才能贏得自由。鬥爭是我的生命。我將繼續為自由而鬥爭，直至生命的終結。”
自由之路從不平坦
1952年，曼德拉與他的朋友奧利弗?坦博在約翰內斯堡市中心共同開辦了一個律師事務所，為黑人提供幫助，這是南非唯一一家黑人律師事務所。曼德拉在從事律師業務的同時，秘密領導非國大的鬥爭。1956年12月，當局開始了對人民大會運動的大規模鎮壓。包括曼德拉在內的領導人和激進分子共155人，被指控犯有重大叛國罪。其間，曼德拉與有著12年婚姻的第一任妻子伊威琳?梅思分開了。1957年，曼德拉結識了溫妮?馬迪基澤拉，兩人在1958年6月舉行了婚禮。1958年8月1日，“叛國罪審判”在比勒陀利亞正式開始，到1961年3月29日，法庭宣布最後30名被告無罪，這場持續了四年之久的審判終於結束了，曼德拉也被無罪釋放。
1960年，南非當局通過“非法組織法”，這是對民主力量的又一次反撲。此時，一度是公眾人物的曼德拉轉入了地下。1961年3月25日，曼德拉奇跡般地出現在非暴力群眾運動的最後一次嚐試——“全非洲人民大會”上，並發表重要講話。大會選舉曼德拉為“全國行動委員會”的領導人，由他向政府轉達大會的要求，並負責為發動群眾和舉行罷工做準備。在“叛國罪審判”結束後，曼德拉開始奔波於全國各地，踏遍工廠、農村、黑人住區和白人城鎮，向人們宣傳非國大的主張。1961年初，在非國大基層組織中，對非暴力原則的批評日益增多，曼德拉也提出了要“有限的使用暴力”的方案。非國大授權曼德拉開始籌備軍事力量“民族之矛”，並允許他挑選他認為合適的人選。在“民族之矛”公開宣布自己的存在以後，政府搜捕越來越厲害了，曼德拉也成了當局通緝和捉拿的第一號要犯。每天24小時曼德拉都在同種族隔離搏鬥著。鬥爭使曼德拉自然而然地成為了一個軍事戰略家，他每天都要向計劃一場複雜的戰役一樣安排自己的生活。1962年1月，曼德拉秘密出國，為尋求武裝鬥爭的支持和資金援助，對非洲各國和英國進行了為期半年的訪問。曼德拉在訪問中看到了獨立和自由的黑人所具有的尊嚴，更堅定了他推翻南非種族主義政權的決心。
27年監禁歲月的黑暗與光明
出訪回國後不久，曼德拉遭到當局的逮捕。曼德拉被逮捕的消息，引起了南非黑人的巨大震動，他們十分憤怒，要求當局釋放曼德拉，國際社會也強烈要求釋放曼德拉。初審之前，非國大組建了一個“釋放曼德拉委員會”，領導發動全國性的抗議活動。1962年11月7日，在法庭宣布審判結果的那一天，曼德拉發表了他著名的聲明，他的聲明是這樣結尾的：“我對我的人民，並對南非，盡了自己的責任。我毫不懷疑子孫後代會宣布我無罪。應當被帶到這個法庭上的罪人，是沃爾特政府的成員們。”法庭對曼德拉的宣判是：監禁五年，不準假釋。
審判後，曼德拉被關押在比勒陀利亞地方監獄。這一次，麵對他的是羞辱性的非人待遇。1963年5月24日夜，曼德拉等人被鐐銬銬鎖在一起，裝進囚車，並換乘一艘木渡船，駛向羅本島政治犯監獄。從17世紀以來，這個四麵被冰冷的大西洋海水環繞的荒涼的石灰岩小島就成為放逐、關押非洲民族領袖的監獄。羅本島上的白人看守向支使牲畜一樣對曼德拉發號施令。1963年的南非成為走上法西斯道路的警察國家。“民族之矛”最高指揮部基於形勢製定了一項稱為“馬伊布耶行動”的方案，在外國力量的援助下，擴大破壞活動的範圍，開展遊擊戰，用武裝鬥爭推翻白人政權。警方發現曼德拉與“民族之矛”的聯係後，很快將他從羅本島轉移到比勒陀利亞監獄，隨後曼德拉與西蘇魯等人一起因被指控犯有破壞和陰謀顛覆政府罪而進行審判。法庭最終判處曼德拉等八人終生監禁。宣判當天，曼德拉等七名黑人被送往羅本島。南非的黑人解放組織也遭到了嚴重的破壞。南非國內的民族解放運動暫時進入低潮。