。
我認為，最折磨我的道德問題是：“如果推動人工智能研究最終帶來幾十億人死亡將怎麼辦？如果你肯定這將是所需的代價你還會繼續嗎？”在我寫本書的時候，我正在思考這個問題，而且我的思想可能會隨著我的變老而改變，我的回答將會是這樣的：“如果我能夠肯定這點，雖然這些還是猜想，那麼我將需要更深程度地反省自己，來看看我堅持宇宙主義者的夢想到底有多大的程度。一方麵，我可能會認為宇宙對於人類的命運漠不關心——僅僅是處在一個微不足道的宇宙中一個微小的星係中的一個微小的恒星星係中的一顆微小的星球上的一種微小的生物，如果正如理論家們指出的一樣有萬億個宇宙的話。我的無情的宇宙主義一麵會這樣思考問題，所以我會選擇繼續支持製造人工智能機器。
但是另一方麵，我也是一個人，由於宇宙主義夢想而導致幾十億人死亡的結果是我完全排斥的。我認為，我將不得不學會習慣這樣可怕的道德困境。人類也需要這樣。我隻是第一批意識到這點的人。想象一下我的工作的遠期後果，它將迫使我這樣想問題。
第四部分 問題與解答 問題9 要消滅有意識的人工智能嗎
問題9.“如果一個人工智能機器變得有意識，消滅它嗎？”
下述的觀點更好地表達了地球主義者的態度。
來信
親愛的德·加裏斯教授：
如果人工智能機器在定義上來說“超越了人類的控製範圍”，那麼，為什麼要認真地思考是否要製造它們呢？讓我們更具體些，您所定義的人工智能機器“哪一部分應該永遠不要製造出來呢”。我們非常善於製造我們可以控製的強大工具。製造對人類有危險的人工智能機器會有什麼好處呢？為什麼不停止製造這些人工智能機器而僅僅去製造那些無自我意識的人工智能呢？隻有人類和其他的一些動物具有自我意識。把一台人工智能機器放在鏡子前麵，如果它可以識別其映像是自身的話，毀掉它！
回答
這種評論顯然沒有考慮“矽權利”。許多宇宙主義者會認為毀掉有意識的人工智能機器是一種謀殺行為。我從上述的評論可以看出這種評論沒有宇宙主義的同情，因為他問到，“製造對人類有危險的人工智能機器會有什麼好處呢？”
好，考慮一下這樣的意見如何？——“去製造神一樣的宗教般的吸引力”，或者“去製造出地球上或者更遙遠的星球上的下一個主導物種”，或者“去創造出一個和科學更加兼容的宗教來達到‘宇宙意識’的目的”。或者這樣，那就是“很多人渴望最終得到一個機會，來做一些‘大事’，來看到‘全景’”。
這樣的評論低估了宇宙主義學說的力量，它非常強大有力，可能會影響幾十億人的思想，會成為影響本世紀全球政治的力量，並且在某個時刻會間接地導致幾十億人的死亡。請不要簡單地反對它，它甚至可能成為人類和宇宙中其他幾萬億個高級物種所必須麵臨的“宇宙主義者過渡”的問題，也許隻有少數物種可以存活下來。宇宙主義可能比我們想象的要有影響得多。
第四部分 問題與解答 問題10 沒有更緊迫的問題嗎
問題10.“沒有更緊迫的問題嗎？”
下述的評論探討了關於人工智能問題的所有疑惑。現在對於人類來說，肯定沒有更緊迫的問題嗎？
來信
親愛的德·加裏斯教授：
為什麼要在意潛在的更高智慧“生物”的行為呢？我們這個物種中所謂的智慧成員在過去50年內花了很多時間，他們什麼時候能夠完善這麼多自我毀滅的技術呢？現在大規模滅絕的物種是什麼呢？人類在未來幾十年裏的生存和發展加速成千上萬個已經生存了幾百萬年的獨特物種的滅絕，這些需要某種程度的關心嗎？對你來說，關心這些問題是否更好？
回答
有什麼比人類這個物種的生存更重要的呢？高級人工智能機器決定要滅絕我們的可能也許非常遙遠，但是，我們不能排除這樣的可能性。由於這個賭注如此巨大，地球主義者的觀點是，沒有風險才是可以接受的，因此，人工智能機器的製造必須永遠被禁止。
地球上有著幾十億人，有著幾十億種不同的興趣。那些對人工智能辯論不感興趣的人不必費心這些，有足夠多的其他事情需要他們操心。一些像我這樣的人對人工智能辯論感興趣，所以，我們應給予足夠的關注。由於我認為我是問題的一部分，所以我比大多數人給予了更多的關注。
當然，我並不否認其他問題的重要性。某些與人工智能問題不相關的問題，例如核子大毀滅的前景，也是很令人恐懼的。這種瞬間物種毀滅的事實也是一個大災難。然而，盡管它們都很重要，我的觀點是在本世紀中期，從全球的角度來看，你所提到的問題將處於比人工智能問題次要的位置。
第四部分 問題與解答 問題11 悲劇可以避免嗎(1)
問題11.“悲劇可以避免嗎？”
下麵的一些問題，來自我和我的一些朋友。本來我想單獨寫一章節，但是最後還是決定在這裏討論它。