現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明並不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。
我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。
當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學上來講，超人工智能比智能蜘蛛更加異己。
電影裏的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那麼毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種隻存在於人類行為之中。
超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。
我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什麼？
這就是我們的下一個問題，人工智能的動機是什麼？
答案也很簡單：我們給人工智能設定的目標是什麼，它的動機就是什麼。人工智能的係統的目標是創造者賦予的。你的gps的目標是給你指出正確的駕駛路線，ibm華生的目標是準確地回答問題。
更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。
所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後，它依然還是想好好寫字而已。
任何假設超級智能的達成會改變係統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星係，然後是整個哈勃體積。
焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最後遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能隻是一個數字超級智能生物加載器罷了。）
就是當有了設定後，一個超人工智能是非道德性的，並且會努力實現它原本的被設定的目標，而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。
為了自保，人類要提出對生存的威脅，所以人類會買槍、係安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。
當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。
在我們追求我們的目標的時候，隻有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。