要在給人工智能的目標裏製定一個能讓人類繼續進化的能力。這個目標叫作連貫的外推意誌，這個目標是這樣的：
我們的連貫外推意誌是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。
外推是彙集的而不是發散的，我們的願望是連貫的而不是被幹擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。
但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣製造一個友善的超人工智能。
但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖製造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。
可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這麼描述的：
在智能爆炸之前，人類就像把炸蛋當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。
超級智能是一個我們還很長一段時間內都無法麵對的挑戰。我們不知道炸蛋什麼時候會爆炸，哪怕我們能聽到炸蛋的滴答聲。
我們當然沒有辦法把所有小孩都從炸蛋旁邊趕跑——參於人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。
而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。
對於這些組織來說，尤其讓我們困擾的是他們很多都是在拚速度——他們創造一個一個更加聰明的弱人工智能係統，因為他們想要比競爭對手更快的到達目標。
有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力衝刺時，你是不會有太多時間靜下來思考這些危險的。
恰恰相反，他們很可能在早期係統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓係統跑起來再說，反正以後還可以回過頭來改的。對吧？
第一個超人工智能出現後，最可能的情況是這個係統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它隻比第二名快了幾天，它也完全有時間碾壓所有對手。
這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。
這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。
但是如果事情走向了另一麵——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那麼像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。
至於現在的風口是哪裏呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創新和人工智能安全的賽跑，可能是人類曆史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。
一邊是對於我們這個物種的思考，看來我們在這個重大的曆史節點上隻有一次機會，我們創造的第一個超人工智能也很可能是最後一個。
但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。
另一邊，我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。