為我們應該去認真思考隨著“人工智能”的出現而帶來的各種各樣的可能。顯然，我不知道未來會在技術、政治，或純哲學上帶來些什麼。但是，我預想了一個和您預想的世界末日畫麵有些不同的場景：不是迅速地被超級人工智能機器大大超越，我們可能發現人工智能機器正逐步溶入人類的生命形式中，從而被認為是我們中的一員，並且從長期來看，發現擁有“人類的”身體——即智人的身體——對於成為人類不是那麼的重要。一句話，我們將逐漸發現它們正在變成我們而且我們也在變成它們。
回答
我同意，某些人希望變為半機器人並且和其他具有相似意向的半機器人和睦相處，它們都是處於變成高級人工智能機器的轉型中。但是這個觀點，即每個人都想要這樣做，同樣是幼稚和不現實的。思考一下，如果人類要變為半機器人，從定義上意味著，在某種程度上可能要通過添加高科技成分來改變他們的大腦，這將改變其行為。地球主義者會對這些半機器人有怎樣的反應呢？年輕的媽媽們會接受她們的孩子被“改良”嗎？事實上，大多數母親們不是對此觀點持排斥態度嗎？是不是大多數母親會覺得她們的孩子在某種意義上已經變成了“怪物”，或者從外觀上，或者是某種看不見的移植，成長的小孩在某種層麵上似乎還是不同的，以一種非常的令人不安和非人類的方式存在？
地球主義者將不信任半機器人，並且把它們推向宇宙主義者。甚至很有可能，半機器人會使很多宇宙主義者重新考慮自己的宇宙主義觀點，並且回歸到地球主義。作為結果，這可能會在宇宙主義者的領地內產生一些現實問題和更大的複雜性。半機器人可能需要和宇宙主義者結盟，如果它們希望更多的人類接受它們。
我看不到“它們變成我們以及我們變成它們”。我隻看到了不信任、憎恨，以及從長遠觀點來看的戰爭。實在抱歉說得如此直接，但我認為這樣更現實。
第四部分 問題與解答 問題4 為什麼不使用毀滅開關
問題4.“為什麼不使用毀滅開關？”
許多人對我說：“有什麼關係？如果人工智能機器變得太強大，隻要把它們的電源拔掉，使用毀滅開關，等等，就可以了。”我認為，這個觀點是“電腦出現故障而強製關機”的經驗的過度概括。
來信
親愛的德·加裏斯教授：
我一直在思考你們所創造的事物。繼續製造這樣的機器……但是，在你們的每一個機器裏麵放置一個可以被我們控製的炸彈。讓它們聰明但是我們會成為它們的主人！
回答
如果“可被引爆的”人工智能機器擁有接近人類等級的智慧，它將意識到它會被人類摧毀。那會讓人類對人工智能機器變得很具威脅性。這裏至少有兩個問題值得關注，一、人類是否可以在每一個人工智能機器身上安裝毀滅開關或放置炸彈。二、這樣做是否聰明？
在一個孤立的人工智能機器個體上，這樣的附加炸彈的想法可能會有用，但是，你怎樣對於一個達到人工智能智慧等級的網絡係統使用同樣的方法呢？毀掉這樣一個網絡的唯一方法就是摧毀所有相關事物，但是對於人類來說，那樣的代價太高了。例如，如果明天世界上所有的互聯網和電腦都毀掉了，幾百萬人將會突然失去工作，並且可能會餓死。這個破壞以及人類所付出的代價將是巨大的。
隨著早期的人工智能機器變得更加聰明，它們會意識到附加在它們身上的炸彈和毀滅開關，就像一個體內攜帶毒藥丸並且可以被其他人觸發的人一樣。這就像活在斷頭台下一樣，隻是在等待斧頭落下，並且不知道它什麼時候會落下。一個智慧的人工智能機器，假設它已經擁有了生存的本能，將會有解除這個威脅的強烈願望。如果它足夠聰明，它可能會行賄其人類主人來移除對其生存的威脅。作為回報，它可能會給予其人類“解放者”某些實質性的回報，例如，金錢、癌症的治療，等等。人工智能機器變得越聰明，它們的分布越廣，毀滅開關的想法就會越不實際。