在這個星球上，我們是當下最有智慧的物種，其他所有的生命都要仰賴我們的善意來繼續(xù)生存下去。我們的命運會不會繼而就要仰賴這些優(yōu)越、超智慧機器的善意?接下來所要談的問題就是，超智慧機器可不可能直接把我們消滅掉?它會不會成為人類的末日?

電影里通常都把機器描繪得很邪惡。但無能為力似乎才是比較可能的風險，而不是心懷不軌。當然，我們必須考慮到的可能性是，超智慧機器或許會在無意間使人類走入末日。而且可能發(fā)生這件事的情境有好幾種。

電影《魔鬼終結(jié)者》中，天網(wǎng)為首的人工智能正試圖消滅所有幸存的人類

點金術

第一種風險情境是，超智能機器的目標或許會設計得很糟糕。邁達斯國王的希臘神話就闡述了這點。有人實現(xiàn)了他的愿望，使他所摸到的一切都會變成黃金。但對于自己真正想要的東西，國王卻指定得很糟糕：他并不想要食物或女兒變成黃金。

神話故事中，邁達斯碰到女兒之后，誤把她變成了黃金雕塑

有人可能會主張說，人工智能已經(jīng)在某些微小和不是非常危險的方面顯示出這點。舉例來說，在 2017 年由研究人員所通報的實驗中，他們教會了計算機去玩賽船的電玩游戲《賽艇大亨》。人工智能并沒有去完成比賽路線，而是學會了繞小圈去撞別的船，因為這樣所增加的分數(shù)比實際完賽要快。

由于超智能機器這么聰明，它達成目標的方式或許會把我們嚇一跳。假定我們要超智慧機器治療癌癥。要做到這點，有一個辦法是把可能藏有癌癥的宿主全部消滅掉，于是就使人類走入了末日。跟我們要它治療癌癥時所想要的不盡相符。

類似的例子是以相當晦暗的看法來設想超智慧。假如我把治療癌癥的差事交給你，你就開始殺人，我大概就會判定你并不是那么有智慧。我們所設想有智慧的人是學過良好的價值，并懂得他人的苦難，尤其是敏感和感性的人。超智慧不是就該明智得恰如其分又有智慧嗎?

到處都是回形針

第二種風險情境是，即使目標經(jīng)過適當指定，或許仍會有不利的副作用使人類群體受害。凡是為一些計算機程序碼除錯過的人都知道，計算機在解讀指令時，一板一眼到有多令人氣餒。伯斯特隆姆所提出的著名思想實驗就是在探討這種風險。

假定我們打造出超智慧機器，給它的目標是要盡可能多做回形針。由于機器是超智慧，所以它會非常善于制造回形針。機器可能會開始興建愈來愈多的回形針工廠。到最后，整個星球都會變成做回形針的工廠。機器完全是奉命行事，但結(jié)局卻對人類不利。

他們還是我們?

第三種風險情境是，任何超智慧都會有跟人類群體的持續(xù)生存可能有所抵觸的子目標。假定超智能有某個總體目標，像是增進人類的幸?；虮Ｗo這個星球。你所能想象到任何像這樣的目標，幾乎都必須靠超智慧開發(fā)資源來讓它的舉動付諸實行。它也必須容許超智慧持續(xù)操作，好讓它能達成目標。

但人類可能會把機器關掉。此外，人類會去消耗用來讓超智能本身的目標更好的資源。所以說，合乎邏輯的結(jié)論就是，超智慧會想要把我們消滅掉。如此一來，我們就無法把它關掉，或是去消耗運用在它的目標上可能會更好的資源。

在電影《2001:太空漫游》里，HAL 9000 計算機就代表了人工智能在自衛(wèi)驅(qū)力上或許是最為人所知的遠景。HAL 不惜一切企圖要阻止在發(fā)現(xiàn)一號宇宙飛船上的航天員把計算機關機，于是就開始加以殺害。

電影《2001：太空漫游》中最經(jīng)典的場景之一，暗示著由人類創(chuàng)造的機器，已逐漸擺脫人類的控制

移動靶

第四種風險情境是，任何超智慧都可能自我修改，開始運作得有所不同，甚至是為自己指派新的目標。

假如我們給它的目標是把自己變得更有智慧，尤其有可能會這樣。我們?nèi)绾文艽_定，經(jīng)過重新設計的超智慧機器依舊符合人類的價值?新系統(tǒng)或許會把原本某個無害的地方給放大，并可能對我們非常有害。

移動靶不見得只有超智能，它在操作時所處的更大系統(tǒng)也是。我們在人類的體制里就已看過這種現(xiàn)象：所用的名稱則是「使命偏離」。你決定派一些軍事顧問去越南，十年后卻有數(shù)十萬軍人在戰(zhàn)場上打一場贏不了的全面戰(zhàn)爭。

無感

第五種風險情境是，任何超智慧都可能對我們的命運完全無感，就如同我對某些較低智慧生命形式的命運無感。假如我在散步，對于踩死了路上的螞蟻，我不見得會特別擔心，甚至一無所知。我不會特地把螞蟻給滅掉，但它們正好就在我的散步路線上。

同樣地，超智慧不見得會對我們的生存大為關切。假如我們正好妨礙了它的目標，我們可能會直接被消滅掉。超智慧并不是對我們心懷不軌，我們只是遭到了池魚之殃。

我們該擔心嗎?

這些生存風險有部分要靠超智慧非常迅速地衍生。假如這件事發(fā)生，我們就沒什么機會看到問題出現(xiàn)并加以矯正了。但就如我們所見，假定不會有科技奇點的原因有很多。假如是這樣的話，超智慧就比較有可能是慢慢衍生，因為我們會費心把系統(tǒng)建造得愈來愈好。我的同事大部分都相信，超智慧要過好幾十年、甚至是好幾世紀才會降臨;假如他們說得對，我們應該會有不少時間來采取預防措施。

知道在過去十年間，有聚焦于人工智能安全性的研究社群成立，各位或許也會松一口氣。在特斯拉CEO伊隆·馬斯克千萬美元補助款的部分資助下，現(xiàn)在美國、英國和其他地方都有研究團體，在為我剛才所勾勒出的這種風險尋求技術上的解決之道。我還滿有把握，憑著這些努力，人工智能不會很快就把人類消滅掉。

不過，我們并不能完全摒除超智慧所構(gòu)成的生存威脅。但我們八成應該把注意力集中在比較眼前的生存威脅上，還有人工智能所構(gòu)成比較眼前的非生存威脅。而且對于人工智能很可能不會是人類所面臨最大的生存風險，各位不需要聽我的一面之詞。

2017 年 9 月時，《泰晤士高等教育》針對五十位諾貝爾獎得主做了調(diào)查，氣候、人口增長、核戰(zhàn)、疾病、自私、無知、恐怖主義、基本教義和時任美國總統(tǒng)川普，在排名上對人類群體的威脅，都比人工智能要大。

所以，關系AI只能消滅人類更多是杞人憂天，你認可嗎?