接下來的一個月,隔壁老王的計劃順利的實施,一個月後,無數的納米機器人已經被分散到了全世界的每一個角落。
這個階段,bostrom稱作超人工智能的襲擊。在同一個時刻,所有納米機器人一起釋放了一點點毒氣,然後人類就滅絕了。
搞定了人類後,隔壁老王就進入了明目張膽期,然後繼續朝它那好好寫字的目標邁進。
一旦超人工智能出現,人類任何試圖控製它的行為都是可笑的。人類會用人類的智能級別思考,而超人工智能會用超人工智能級別思考。
隔壁老王想要用互聯網,因為這對它來說很方便,因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎麼用電話或者wifi來溝通一樣,我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。
比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波,而這還隻是我這人類的大腦想出來的,老王的大腦肯定能想出更神奇的方法。
同樣的,老王可以找到給自己供能的方法,所以就算工程師把它的插頭拔了也沒用;比如說老王可以通過發送波的方式把自己上傳到其它地方。
人類說:“我們把超人工智能的插頭拔了不就行了?”就好像蜘蛛說:“我們不給人類捉蟲的網把人類餓死不就行了?”都是可笑的。
因為這個原因,“把人工智能鎖起來,斷絕它和外界的一切聯係”的做法估計是沒用的。
超人工智能的社交操縱能力也會很強大,它要說服你做一件事,比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的a計劃,萬一這招行不通,自然還有別的方法。
當我們結合達成目標、非道德性、以及比人類聰明很多這些條件,好像所有的人工智能都會變成不友善的人工智能,除非一開始的代碼寫的很小心。
可惜的是,雖然寫一個友善的弱人工智能很簡單,但是寫一個能在變成超人工智能後依然友善的智能確實非常難的,甚至是不可能的。
明顯的,要維持友善,一個超人工智能不能對人有惡意,而且不能對人無所謂。我們要設計一個核心的人工智能代碼,讓它從深層次的明白人類的價值,但是這做起來比說起來難多了。
比如,我們要讓一個人工智能的價值觀和我們的價值觀相仿,然後給它設定一個目標——讓人們快樂。
當它變得足夠聰明的時候,它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。
如果一開始的目標被設定成“最大化人類的快樂”,它可能最終先把人類毀滅了,然後製造出很多很多處於快樂狀態的人類大腦。
當這些事情發生的時候,我們會大喊“擦,我們不是這個意思呀”,但是那時已經太晚了。係統不會允許任何人阻撓它達成目標的。
如果你設定一個人工智能的目標是讓你笑,那它的智能起飛後,它可能會把你臉部肌肉弄癱瘓,來達成一個永遠笑臉的狀態。
如果你把目標設定成保護你的安全,它可能會把你軟禁在家。
如果你讓他終結所有饑荒,它可能會想:“太容易了,把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命,那它會很快把人類都殺了,因為人類對其它物種是很大的威脅。
所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”,然後教給它一些道德標準呢?
就算我們不考慮人類根本沒法達成一個統一的道德標準,就算我們真的達成了統一的道德標準,把這套標準交給人工智能來維持,隻會把人類的道德鎖死在現在的水平。