我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。
那些關於邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？
我們難道不能設立很多安全機製嗎？再不濟，難道我們不能拔插頭嗎？而且為什麼機器人會想要做壞事？或者說，為什麼機器人會“想要”做任何事？我充滿疑問，於是我開始了解聰明人們的想法。
首先，廣義上來講，在創造超人工智能時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麼。
科學家danny hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麼鬼。”
bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一隻小貓頭鷹，並且覺得貓頭鷹長大後會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。
當你把“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時，你創造出了一個很恐怖的詞——生存危機。
可以想見，生存危機是用來指那些跨物種、跨代（永久傷害）並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：
自然——大型隕石衝撞，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等。
外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。
人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能。
1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。
3則讓我們很害怕，這些可以比作一個裝著玻璃球的罐子，罐子裏大部分是白色玻璃球，小部分是紅色的，隻有幾個是黑色的。
每次人類發明一些新東西，就相當於從罐中取出一個玻璃球。
大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。
還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是不久的未來摸到一個黑色玻璃球不是完全不可能的。
比如核武器突然變得很容易製造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智能是我們最可能摸到的黑色玻璃球。
一個15人的小創業公司，取名叫“隔壁老王機器人公司”，他們的目標是“發展創新人工智能工具使人類能夠少幹活多享受。”
他們已經有幾款產品上架，還有一些正在發展。他們對下一個叫作“隔壁老王”的項目最報希望。隔壁老王是一個簡單的人工智能係統，它利用一個機器臂在小卡片上寫字。
“隔壁老王機器人公司”的員工認為隔壁老王會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——
等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因為手寫的信更有可能被收信人打開。
為了建立隔壁老王的手寫能力，它被設定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機器人公司”用斜體寫，這樣它能同時鍛煉兩種書寫能力。
工程師們上傳了數千份手寫樣本，並且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然後和樣本進行比對，如果比對結果超過一定標準，就產生一個正麵回饋，反之就產生一個負麵評價。
每個評價都會幫助提高隔壁老王的能力。為了能夠盡快達成這個目標，隔壁老王最初被設定的一個目標就是“盡量多的書寫和測試，盡量快的執行，並且不斷提高效率和準確性。”