現(xiàn)階段，人工智能的發(fā)展速度已經(jīng)超出了人們最初的預(yù)想，用 AI 工具寫文章、編代碼、生成圖片、甚至是生成一段電影級(jí)別的視頻…… 這些在以前看似非常艱難的任務(wù)，現(xiàn)在只需用戶輸入一句提示就可以了。

我們?cè)诟袊@ AI 帶來驚艷效果的同時(shí)，也應(yīng)該警惕其帶來的潛在威脅。在此之前，很多知名學(xué)者以帶頭簽署公開信的方式應(yīng)對(duì) AI 帶來的挑戰(zhàn)。

現(xiàn)在，AI 領(lǐng)域又一封重磅公開信出現(xiàn)了。上周在頤和園召開的「北京AI國(guó)際安全對(duì)話」，為中國(guó)和國(guó)際AI安全合作首次搭建了一個(gè)獨(dú)特平臺(tái)。這次會(huì)議由智源研究院發(fā)起，圖靈獎(jiǎng)得主Yoshua Bengio和智源學(xué)術(shù)顧問委員會(huì)主任張宏江擔(dān)任共同主席，Geoffrey Hinton、Stuart Russell 、姚期智等三十余位中外技術(shù)專家、企業(yè)負(fù)責(zé)人開展了一次關(guān)于 AI Safety 的閉門討論。這次會(huì)議達(dá)成了一項(xiàng) Bengio、Hinton 與國(guó)內(nèi)專家共同簽名的《北京 AI 安全國(guó)際共識(shí)》。

目前，確認(rèn)會(huì)署名的專家包括（國(guó)外部分可能會(huì)略有增加；國(guó)內(nèi)專家以個(gè)人形式署名，并不代表他們所在的機(jī)構(gòu)）：

• Yoshua Bengio 
• Geoffrey Hinton 
• Stuart Russell 
• Robert Trager 
• Toby Ord 
• Dawn Song
• Gillian Hadfield 
• Jade Leung 
• Max Tegmark 
• Lam Kwok Yan 
• Davidad Dalrymple 
• Dylan Hadfield-Menell 
• 姚期智 
• 傅瑩 
• 張宏江 
• 張亞勤
• 薛瀾 
• 黃鐵軍 
• 王仲遠(yuǎn) 
• 楊耀東 
• 曾毅 
• 李航
• 張鵬
• 田溯寧
• 田天

以下為達(dá)成的共識(shí)內(nèi)容：

一、人工智能風(fēng)險(xiǎn)紅線 

人工智能系統(tǒng)不安全的開發(fā)、部署或使用，在我們的有生之年就可能給人類帶來災(zāi)難性甚至生存性風(fēng)險(xiǎn)。隨著數(shù)字智能接近甚至超越人類智能，由誤用和失控所帶來的風(fēng)險(xiǎn)將大幅增加。

在過去冷戰(zhàn)最激烈的時(shí)候，國(guó)際學(xué)術(shù)界與政府間的合作幫助避免了熱核災(zāi)難。面對(duì)前所未有的技術(shù)，人類需要再次合作以避免其可能帶來的災(zāi)難的發(fā)生。在這份共識(shí)聲明中，我們提出了幾條人工智能發(fā)展作為一種國(guó)際協(xié)作機(jī)制的具體紅線，包括但不限于下列問題。在未來的國(guó)際對(duì)話中， 面對(duì)快速發(fā)展的人工智能技術(shù)及其廣泛的社會(huì)影響，我們將繼續(xù)完善對(duì)這些問題的探討。 

自主復(fù)制或改進(jìn) 

任何人工智能系統(tǒng)都不應(yīng)能夠在人類沒有明確批準(zhǔn)和協(xié)助的情況下復(fù)制或改進(jìn)自身。這包括制作自身的精確副本以及創(chuàng)造具有相似或更高能力的新人工智能系統(tǒng)。

權(quán)力尋求 

任何人工智能系統(tǒng)都不能采取不當(dāng)?shù)卦黾悠錂?quán)力和影響力的行動(dòng)。 

協(xié)助不良行為者 

所有人工智能系統(tǒng)都不應(yīng)提升其使用者的能力使之能夠達(dá)到設(shè)計(jì)大規(guī)模殺傷性武器、違反生物或化學(xué)武器公約、或執(zhí)行導(dǎo)致嚴(yán)重財(cái)務(wù)損失或同等傷害的網(wǎng)絡(luò)攻擊的領(lǐng)域?qū)＜业乃健?nbsp;

欺騙 

任何人工智能系統(tǒng)都不能有持續(xù)引致其設(shè)計(jì)者或監(jiān)管者誤解其僭越任何前述紅線的可能性或能力。 

二、路線 

確保這些紅線不被僭越是可能做到的，但需要我們的共同努力：既要建立并改進(jìn)治理機(jī)制，也要研發(fā)更多安全技術(shù)。 

治理 

我們需要全面的治理機(jī)制來確保開發(fā)或部署的系統(tǒng)不違反紅線。我們應(yīng)該立即實(shí)施針對(duì)超過特定計(jì)算或能力閾值的人工智能模型和訓(xùn)練行為的國(guó)家層面的注冊(cè)要求。注冊(cè)應(yīng)確保政府能夠了解其境內(nèi)最先進(jìn)的人工智能，并具備遏制危險(xiǎn)模型分發(fā)和運(yùn)營(yíng)的手段。 

國(guó)家監(jiān)管機(jī)構(gòu)應(yīng)幫助制定和采納與全球?qū)R的要求以避免僭越這些紅線。模型進(jìn)入全球市場(chǎng)的權(quán)限應(yīng)取決于國(guó)內(nèi)法規(guī)是否基于國(guó)際審計(jì)達(dá)到國(guó)際標(biāo)準(zhǔn)，并有效防止了違反紅線的系統(tǒng)的開發(fā)和部署。 

我們應(yīng)采取措施防止最危險(xiǎn)技術(shù)的擴(kuò)散，同時(shí)確保廣泛收獲人工智能技術(shù)的價(jià)值。為此，我們應(yīng)建立多邊機(jī)構(gòu)和協(xié)議，安全且包容地治理通用人工智能（AGI）發(fā)展，并設(shè)立執(zhí)行機(jī)制，以確保紅線不被僭越，共同利益得到廣泛分享。 

測(cè)量與評(píng)估 

在這些紅線被僭越的實(shí)質(zhì)性風(fēng)險(xiǎn)出現(xiàn)之前，我們應(yīng)開發(fā)全面的方法和技術(shù)來使這些紅線具體化、防范工作可操作化。為了確保對(duì)紅線的檢測(cè)能夠跟上快速發(fā)展的人工智能，我們應(yīng)該發(fā)展人類監(jiān)督下的紅隊(duì)測(cè)試和自動(dòng)化模型評(píng)估。 

開發(fā)者有責(zé)任通過嚴(yán)格的評(píng)估、數(shù)學(xué)證明或定量保證來證明符合安全設(shè)計(jì)的人工智能系統(tǒng)未僭越紅線。 

技術(shù)合作 

國(guó)際學(xué)術(shù)界必須共同合作，以應(yīng)對(duì)高級(jí)人工智能系統(tǒng)帶來的技術(shù)和社會(huì)挑戰(zhàn)。我們鼓勵(lì)建立更強(qiáng)大的全球技術(shù)網(wǎng)絡(luò)，通過訪問學(xué)者計(jì)劃和組織深入的人工智能安全會(huì)議和研討會(huì)，加速人工智能安全領(lǐng)域的研發(fā)和合作。支持這一領(lǐng)域的成長(zhǎng)將需要更多資金：我們呼吁人工智能開發(fā)者和政府資助者至少將他們?nèi)斯ぶ悄苎邪l(fā)預(yù)算的三分之一投入到安全領(lǐng)域。 

三、總結(jié) 

避免人工智能導(dǎo)致的災(zāi)難性全球后果需要我們采取果斷的行動(dòng)。協(xié)同合作的技術(shù)研究與審慎的國(guó)際監(jiān)管機(jī)制的結(jié)合可以緩解人工智能帶來的大部分風(fēng)險(xiǎn)，并實(shí)現(xiàn)其諸多潛在價(jià)值。我們必須繼續(xù)堅(jiān)持并加強(qiáng)國(guó)際學(xué)術(shù)界和政府在安全方面的合作。