對(duì)于超級(jí)人工智能的出現(xiàn)，我們是期待的，因?yàn)樗某霈F(xiàn)意味著不少工作可以以高效率的方式來完成?？墒?，作為一款號(hào)稱智慧遠(yuǎn)超最聰明、最有才華的人類的AI，關(guān)于它可能帶來的災(zāi)難性風(fēng)險(xiǎn)的討論并沒有停止腳步。

[[375721]]

近期，一群科學(xué)家組成的研究團(tuán)隊(duì)使用理論計(jì)算來證明遏制類算法并不能控制超級(jí)人工智能，這個(gè)研究主要是為了解決牛津哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）提出的控制問題：我們?nèi)绾未_保超級(jí)人工智能為我們的利益服務(wù)？

根據(jù)超級(jí)人工智能的假設(shè)問題，研究人員構(gòu)設(shè)一種理論上的遏制算法，該算法可以模擬AI的行為，并在AI程序的動(dòng)作存在有害行為時(shí)自動(dòng)停止程序來解決該問題。

在嘗試運(yùn)行該試驗(yàn)?zāi)Ｐ蜁r(shí)，分析人員通過分析結(jié)果，發(fā)現(xiàn)建立一種可以控制超級(jí)人工智能的機(jī)器算法從根本性質(zhì)上來說是不可能的。

[[375722]]

該團(tuán)隊(duì)成員伊亞德·拉萬（Iyad Rahwan）表示，如果將問題分解為理論計(jì)算機(jī)科學(xué)的基本規(guī)則，就會(huì)發(fā)現(xiàn)，命令A(yù)I不破壞世界的遏制算法存在無意中止其自身運(yùn)行的可能性。

若發(fā)生這種情況，用戶其實(shí)并不知道遏制算法是否仍在分析超級(jí)人工智能可能存在的威脅，或者它是否已經(jīng)順利停止有害的AI。因此，這種狀況的出現(xiàn)會(huì)導(dǎo)致遏制算法無法得到有效使用。

根據(jù)研究發(fā)現(xiàn)，由于計(jì)算的基本局限性，目前暫時(shí)沒有一種算法可以順利計(jì)算出超級(jí)AI是否會(huì)危害世界。

假設(shè)超級(jí)人工智能將包含一個(gè)程序，該程序包含通用圖靈機(jī)在輸入時(shí)可能會(huì)像世界級(jí)狀況一樣復(fù)雜地執(zhí)行所有程序，按照這么高的標(biāo)準(zhǔn)建立圍堵遏制算法，基于這個(gè)基礎(chǔ)對(duì)該超級(jí)AI程序進(jìn)行仿真，這在理論上是不可能的。

[[375723]]

到目前為止，這種類型的超級(jí)AI仍僅限于幻想領(lǐng)域，不過，研究人員表示，AI技術(shù)的發(fā)展正朝著科幻小說作家所設(shè)想的超級(jí)智能系統(tǒng)的類型邁進(jìn)。

研究團(tuán)隊(duì)里面的成員之一、來自馬克斯·普朗克人類發(fā)展研究所的曼努埃爾·塞布里安（Manuel Cebrian）表示，已經(jīng)有AI機(jī)器可以實(shí)現(xiàn)獨(dú)立執(zhí)行某些重要任務(wù)，而程序員并沒有完全了解它們是如何學(xué)習(xí)做到的。

因此，基于這個(gè)存在而提出一個(gè)問題，在某個(gè)時(shí)候這是否可能變得不可控制并對(duì)人類構(gòu)成危險(xiǎn)。

不管如何，發(fā)展超級(jí)人工智能的趨勢并不會(huì)按下暫停鍵，只是，關(guān)于遏制超級(jí)人工智能的方式還是要保持跟進(jìn)的，只有類似法律指引人類日常規(guī)范一般對(duì)超級(jí)人工智能形成一個(gè)制約，才可以讓AI為我們服務(wù)，而不是造成災(zāi)難。