1991年7月，非洲人國民大會在開普敦召開了年會。在年會上，曼德拉全票當選為非洲人國民大會主席。在此次大會上，曼德拉發表講話說：“談判並不是一帆風順的，因為那些白人政客始終不想交出他們的權力。所以大家要明白，鬥爭還遠遠沒有結束。我們不能再讓種族隔離製度在南非抬頭了，我們也沒有時間去等待談判。如果有必要，我們會建立起一個過渡政府。”
與此同時，非洲人國民大會進行了重組。重組後，50名新的領導人來自不同的種族，其中包括7名印度人，7名有色人，7名白人。
曼德拉將自己的辦公室搬到了西蘇魯和坦博的隔壁，3位年過七旬的老人常常在一起討論問題，就像40年前的“藐視運動”時一樣親密。
談判還在一輪輪的討價還價聲中進行著。1991年12月12日，民主非洲人國民大會在約翰內斯堡機場附近的世界貿易中心召開。民主非洲人國民大會是白人當局、非洲人國民大會和其他黨派第一次召開的聯合大會，聯合國、英國、歐洲共同體和非洲共同體也參加了這次會議。海倫·蘇斯曼說：“為了締造一個民主、自由的南非，往日的階下囚和把他們丟進監獄的人坐下來進行和談，這太不可思議了。”這次會議上通過了南非過渡時期的憲法——臨時憲法，這是南非曆史上第一部體現種族平等的憲法。正式憲法將在民主選舉成立新政府後兩年製訂。
1993年2月，非洲人國民大會和政府終於達成統一意見：選舉成立一個包括所有政黨在內的、為期5年的聯合政府，且任何一個政黨的表決權不得低於總投票比例的5%。同時，聯合政府準備於1993年年底進行全國大選。
同年3月，德克勒克總統又發表了一個聲明：“在過去的9年中，為了牽製和震懾敵人，政府曾秘密研發了7顆類似於廣島原子彈的核彈，如今都已全部銷毀。”這不但意味著南非成了世界上第一個宣布放棄並銷毀核武器的國家，還意味著德克勒克總統徹底放棄了白人統治。
然而，就在這個時候，南非黑人新一代的領袖人物、被視為曼德拉最佳的接班人克裏斯·哈尼在約翰內斯堡附近的博克斯堡遇刺身亡。
哈尼是南非幾十年來遭到暗殺的最傑出的黑人領袖人物，他曾任南非共產黨總書記、“民族之矛”參謀長。在南非人的心目中，哈尼和曼德拉一樣，也是個傳奇般的聖人。在他被害的當天，兩萬多人前往他家悼念。
殺害哈尼的凶手是個波蘭移民，名叫賈納斯·瓦盧斯。一位白人女性目擊了整個凶殺過程，她保持著鎮定，記下了凶手的車牌號並立即報警。15分鍾後，警察趕到並攔截了這輛汽車，賈納斯·瓦盧斯被當場抓獲。他甚至連作案用的槍都沒來得及丟掉，可以說是人贓俱獲。
當時，曼德拉正在自己的故鄉庫姆村陪同朋友理查德·斯滕格爾吃早餐。聽到這個消息後，他刹那間呆住了，像一尊石雕一樣一動不動，過了許久，他才回過神來。理查德·斯滕格爾回憶說：“他放下電話，顯然已經開始思考下一步可能發生什麼事，對國家有什麼影響，對和平有什麼影響，對談判有什麼影響。接下來，他給自己的助手打了好幾個電話，隨後立刻明白，這是一根點燃炸藥包的火柴，完全可能引發一係列暴力革命。”
曼德拉馬上從特蘭斯凱飛到約翰內斯堡，並發表了其政治生涯中最重要的演講之一。非洲廣播公司直播了這次演講。曼德拉的演講開頭是這樣說的：“一個白人男子，滿懷偏見和仇恨，來到我們的國家胡作非為，他的行為把我們整個國家都推到了災難的邊緣。一個南非白人女性，她冒著生命危險，讓我們找到這名凶手，將他繩之以法。”
曼德拉還呼籲南非的人民要冷靜和克製，他說：“在如此重要的關頭，我們的態度和行為將會左右這個國家的命運。我以自己擁有的全部權威向我們全體人民呼籲，保持冷靜，將我們對克裏斯·哈尼的紀念化作嚴守秩序的力量，化作為和平而尊重紀律的力量。”