1960年，南非警察開槍鎮壓示威群眾，不久又下令取締了非國大。非國大開始轉入秘密活動，為應變形勢的變化，曼德拉著手建立了稱為“民族之矛”的軍事組織，並親自擔任總司令。為了掌握武裝鬥爭的策略，曼德拉在這一時期閱讀了克勞塞維茨、毛澤東和格瓦拉等人的著作，為了爭取國際社會對非國大的支持，曼德拉還多次秘密出國訪問，會見了許多非洲國家領導人。1962年8月5日，由於叛徒的出賣，曼德拉在約翰內斯堡附近被捕，從此開始了他長達27年的鐵窗生涯。
在獄中曼德拉先後讀完了倫敦大學法律、經濟和商業專業的課程，還自學了一門外語。
曼德拉不僅堅持學習，而且還利用一切機會和囚犯交朋友，給他們講述反對種族隔離的道理。由於他經常領著難友與當局鬥爭，南非當局隻好把他秘密轉移到開普敦的中央監獄。當局表示隻要他放棄武裝鬥爭，就恢複他的自由，但是曼德拉堅定地說：“自由決不能討價還價。”
1990年2月11日，開普敦監獄大門打開了，年已71歲的曼德拉走出牢門，這天世界各國派來采訪他的記者多達2000人，曼德拉出獄的第一張照片被人用百萬美元買走。出獄後，曼德拉成為非國大的主席，繼續領導反對種族隔離製度的鬥爭。他率領代表團與總統德克勒克為首的白人政府代表團進行談判，經過不懈努力，最終促使政府逐步放寬種族隔離，並同意組織南非第一次真正意義上的全民選舉。
1994年5月10日，曼德拉徹底的民族和解主張，贏得了南非各族人民的理解和支持，他宣誓就任南非總統。從此，在南非實行了300餘年的種族隔離製度被廢除了，曼德拉成為南非有史以來的第一位黑人總統。
曼德拉出任南非曆史上第一任黑人總統時將近76歲了。老驥伏櫪，能否走完千裏？有人提出了這樣的疑問。他上任剛剛5天，英國《星期日泰晤士報》就放出消息，說曼德拉私下曾經暗示，他打算在兩年之內辭去總統的職務。雖然曼德拉立即做出反應，聲明這純屬謠言，但這件事情本身已經提示人們擺在新總統麵前的道路並不平坦。貧困、饑餓、失業，許多人缺少文化教育，住房緊缺等等問題困擾著剛就任的曼德拉。如何團結一切積極的力量，包括白人以及黑人中與國大黨存在政治分歧的因卡塔自由黨人，還有各色人種，對於這個有著4000萬人口，多個種族組成的國家來說，的確不是一件易事。
但是76歲的曼德拉並沒有退縮，而是積極地麵對困境。他為了爭取種族平等，進行了長期艱苦卓絕的鬥爭，他以令人驚奇的充沛精力，積極的工作態度開展工作。
曼德拉1999年6月卸任總統後，本來能夠過甜蜜安寧的晚年生活了，可是曼德拉卻閑不下來，可謂退而不休。一方麵，他深深地熱愛著黑非洲這塊土地，以極其複雜的心情關注著非洲目前麵臨的困難和遭受的苦難，加上他“德高望重”的客觀影響，因此不少非洲交戰國邀請他擔當國際調解人。另一方麵；曼德拉是國際知名人士，甚至一些媒體稱他是“20世紀最後一位活著的曆史人物”。因此，幾乎所有前往南非訪問的國際政要、名人、明星都希望能與他見上一麵，國內外的各種國際會議也大多邀請他前往出席捧場。曼德拉因長期牢獄折磨，造成膝關節和視力嚴重損傷。他行走不便，特別是雙腿很難邁上台階。但是這位老人的精神卻一直很好，仍然在積極地忙碌著，他自己說他忙碌的日程是“每天從早到晚地工作，回家時已十分疲勞，唯一想做的事就是睡覺和做夢”。
現在，這位令人尊敬的、在逆境風雨中一路走過的老人，可以安心地休息了。他的光芒普照著南非人民，他的事跡感染了世界人民。