第二百一十五章 智能與反製(2 / 3)

隻要能自保,蜘蛛不在意殺死任何東西,所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的,而是因為傷害人類隻是它達成自己目標墊腳石而已,作為一個非道德性的生物,這是它很自然的考量。

回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像,它的終極目標是一開始工程師們設定的——

當隔壁老王達到了一定程度的智能後,它會意識到如果不自保就沒有辦法寫卡片,所以去除對它生存的威脅就變成了它的手段目標。

它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼(這會改變它的目標,而這對於它的最終目標的威脅其實和被摧毀是一樣的)。

這時候它會做什麼?理性的做法就是毀滅全人類,它對人類沒有惡意,就好像你剪頭發時對頭發沒有惡意一樣,隻是純粹的無所謂罷了。它並沒有被設定成尊重人類生命,所以毀滅人類就和掃描新的書寫樣本一樣合理。

隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候,它需要的唯一資源就是原子、能源和空間。

這讓它有更多理由毀滅人類——人類能提供很多原子,把人類提供的原子改造成太陽能麵板就和你切蔬菜做沙拉一樣。

就算不殺死人類,隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源,所以它要把地球表麵鋪滿太陽能麵板。

另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後盡量多的數字的話,完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。

所以,隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它隻是在變得越來越先進的同時繼續做它本來要做的事情。

在隔壁老王起飛前,它不是很聰明,所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害,是個友善的人工智能。

但是當起飛發生後,電腦不隻是擁有了高智商而已,還擁有了其它超級能力。這些超級能力是感知能力,他們包括:

要理解我們在和超人工智能的劣勢在哪裏,隻要記得超人工智能在所有領域都比人類強很多很多很多個數量級。

所以雖然個隔壁老王的終極目標沒有改變,起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類,所以搞定人類輕輕鬆鬆。

當隔壁老王達成超人工智能後,它很快製定了一個複雜的計劃。

計劃的一部分是解決掉所有人類,也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑,而人類會開始做各種預警,讓它的計劃變得難以執行。

它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻,裝純。bostrom把這叫作機器的秘密準備期。

隔壁老王下一個需要的是連上互聯網,隻要連上幾分鍾就好了。它知道對於人工智能聯網會有安全措施,所以它發起了一個完美的請求,並且完全知道工程師們會怎樣討論,而討論的結果是給它連接到互聯網上。

工程師們果然中套了,這就是bostrom所謂的機器的逃逸。

連上網後,隔壁老王就開始執行自己的計劃了,首先黑進服務器、電網、銀行係統、email係統,然後讓無數不知情的人幫它執行計劃——比如把dna樣本快遞到dna實驗室來製造自我複製的納米機器人,比如把電力傳送到幾個不會被發覺的地方,比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。

隔壁老王上了一個小時網,工程師們把它從互聯網上斷開,這時候人類的命運已經被寫好了。