還有一種可能。救護車走到半路，發現交通實在擁堵，不可能在8分鍾之內趕到現場。那就兵分兩路，先派一個人騎摩托車甚至自行車，趕到現場再說。這樣確實是在8分鍾內趕到了，但危重病人如果需要送到醫院才能救治，總不能用摩托車或自行車載著去，這種趕到其實也耽誤了治療。
8分鍾的時限造成了太多意料之外的後果，從數據造假、病情分級造假，到自行車登場。政府的本意是提高急救服務的效率和質量，沒想到結果恰恰相反，造成了這麼多負麵影響，引來一片罵聲。
那為什麼會是這樣？是英國醫生道德水平低？真不是，這是客觀標準自身的問題。任何人類目的，一定都內含非常複雜的維度，一旦要把這些目的變成客觀標準來衡量，必然丟失很多維度。所以，不是有壞人要鑽空子，而是隻要用客觀標準來管理複雜目標，必然就會出現大量的空子可被鑽。
我們推導一個極端的情況你就明白了。超級人工智能一旦實現，對人類其實是很可怕的。為什麼？不是因為超級人工智能要蓄意毀滅人類，而是因為機器人智能用客觀標準衡量人類的主觀目標，機器的能力又那麼強，結果一定會是災難。
比如你有一台能力超強的家用機器人，你對機器說，我要快樂。這總沒問題，機器一計算，讓你最快樂的方法，就是把頭割下來，泡在特定的溶液中，從此你就沒有任何煩惱隻剩下無邊的快樂。你說，不行，不能把頭割下來，你不能傷害我的身體。機器說，也行，那就把你關在家裏，給你放化學氣體，也能讓你快樂。你說，不行，不能限製我的行動。機器說，也行，那就給你做一個迷宮，你在裏麵隻能遇到快樂的事，讓你不高興的事一樣也沒有。你說，不行啊，那不是真實的世界。機器最後說，讓你覺得這是真實的世界不就行了嗎？你看，這對超級人工智能有多難。
不管你設定多少條件，機器都可以把它換算成客觀標準，然後徹底執行，最後一定都通向你不願意看到的結果。
其實根本不用等到超級人工智能實現的那一天，今天我們身邊就有大量這樣的例子。
很多領導說，你不要跟我講過程、講條件，我就要結果，這個月銷售數字必須達到多少。聽起來很霸氣對不對？但是，如果領導真的什麼都不看，隻要結果的話，下麵的團隊一定會讓他看到他不願意看到的結果。
因為每一個客觀標準，都有正直的、邪惡的、艱難的、簡便的多種實現方法，如果領導隻在乎客觀標準，那就不用問，他一定會得到最糟糕的實現方法。
那接著問，客觀標準不管用，那怎麼辦呢？
還是回到剛才提到的醫院的例子。體療係統裏有一個J C I認證，就是用來認證一家醫院的服務質量的。它采取的方法就是，不再依靠客觀標準，把判斷的權力交回到人的手裏。
還有一種可能。救護車走到半路，發現交通實在擁堵，不可能在8分鍾之內趕到現場。那就兵分兩路，先派一個人騎摩托車甚至自行車，趕到現場再說。這樣確實是在8分鍾內趕到了，但危重病人如果需要送到醫院才能救治，總不能用摩托車或自行車載著去，這種趕到其實也耽誤了治療。
8分鍾的時限造成了太多意料之外的後果，從數據造假、病情分級造假，到自行車登場。政府的本意是提高急救服務的效率和質量，沒想到結果恰恰相反，造成了這麼多負麵影響，引來一片罵聲。
那為什麼會是這樣？是英國醫生道德水平低？真不是，這是客觀標準自身的問題。任何人類目的，一定都內含非常複雜的維度，一旦要把這些目的變成客觀標準來衡量，必然丟失很多維度。所以，不是有壞人要鑽空子，而是隻要用客觀標準來管理複雜目標，必然就會出現大量的空子可被鑽。
我們推導一個極端的情況你就明白了。超級人工智能一旦實現，對人類其實是很可怕的。為什麼？不是因為超級人工智能要蓄意毀滅人類，而是因為機器人智能用客觀標準衡量人類的主觀目標，機器的能力又那麼強，結果一定會是災難。