AI風(fēng)險(xiǎn)管理，再度被AI大佬提上了日程。

就在剛剛，一封由Bengio、Hinton、姚期智（Andrew Yao）、張亞勤等知名專家簽署的聯(lián)名信引起了許多人的關(guān)注。

這篇題為「在快速發(fā)展的時(shí)代管理人工智能風(fēng)險(xiǎn)」的文章，也即將發(fā)表在arXiv上。

有網(wǎng)友稱，已經(jīng)太晚了。

聯(lián)名信全文

在AI的快速發(fā)展中，本文作者對即將到來的強(qiáng)大AI系統(tǒng)的大規(guī)模風(fēng)險(xiǎn)達(dá)成了共識(shí)。他們呼吁在開發(fā)這些系統(tǒng)之前，采取緊急治理措施，并在AI研發(fā)中向安全和道德實(shí)踐進(jìn)行重大轉(zhuǎn)變。

2019年，GPT-2能力很有限，還無法可靠地?cái)?shù)到10。

僅僅4年后，深度學(xué)習(xí)系統(tǒng)就可以編寫軟件，按需生成逼真的場景，對知識(shí)性話題提供建議，并結(jié)合語言和圖像處理來控制機(jī)器人。

隨著AI開發(fā)者擴(kuò)大這些系統(tǒng)的規(guī)模，一些未預(yù)見的能力和行為，會(huì)在沒有明確編程的情況下自發(fā)地出現(xiàn)。

AI的發(fā)展太過迅速，已經(jīng)遠(yuǎn)遠(yuǎn)超出人們的預(yù)期。而AI進(jìn)步的速度，可能會(huì)再次讓我們感到驚訝。

當(dāng)前的深度學(xué)習(xí)系統(tǒng)仍然缺乏重要的能力，我們不知道需要多長時(shí)間才能開發(fā)它們。

然而，科技公司們正在競相開發(fā)AGI系，以匹配或超越人類在大多數(shù)認(rèn)知工作方面的能力。

他們正在迅速部署更多資源，并開發(fā)新技術(shù)來提高AI的能力。

AI本身的進(jìn)步也可以加速開發(fā)進(jìn)，如用AI助手自動(dòng)化編程和數(shù)據(jù)采集，以進(jìn)一步改進(jìn)AI系統(tǒng)。

我們沒有理由認(rèn)為，AI的進(jìn)步會(huì)在達(dá)到人類智力時(shí)停止。事實(shí)上，AI已經(jīng)在蛋白質(zhì)折疊或策略游戲等細(xì)分領(lǐng)域超越了人類。

與人類相比，AI系統(tǒng)可以更快地行動(dòng)，學(xué)習(xí)更多知識(shí)，并以更高的帶寬進(jìn)行通信。

此外，它們可以通過使用大量的計(jì)算資源進(jìn)行擴(kuò)展，并且可以以數(shù)以百萬計(jì)的速度復(fù)制。

AI的進(jìn)步速度足以令人震驚！科技公司擁有充足的現(xiàn)金儲(chǔ)備，可以很快將最新的訓(xùn)練的模型規(guī)模擴(kuò)大100-1000倍。

再加上AI研發(fā)的持續(xù)增長和自動(dòng)化，我們必須認(rèn)真對待AGI系統(tǒng)在本十年或未來十年內(nèi)，在許多關(guān)鍵領(lǐng)域超越人類能力的可能性。

這將會(huì)發(fā)生什么？

如果管理得當(dāng)、分配公平，先進(jìn)的AI系統(tǒng)可以幫助人類治愈疾病、提高生活水平并保護(hù)我們的生態(tài)系統(tǒng)。AI提供的機(jī)會(huì)是巨大的。

但是伴隨著先進(jìn)的AI能力而來的是大規(guī)模的風(fēng)險(xiǎn)，目前我們無法很好地應(yīng)對這些風(fēng)險(xiǎn)。

人類正在投入大量資源來使AI系統(tǒng)更加強(qiáng)大，但在安全性和減輕傷害方面的投入則要少得多。

要讓AI成為一種社會(huì)福音，我們必須重新定位。僅僅推動(dòng)AI能力的發(fā)展是不夠的。

我們已經(jīng)落后于重新定位AI的進(jìn)度。

我們必須提前預(yù)測AI可能造成的危害和新風(fēng)險(xiǎn)，并盡早做好防范最大風(fēng)險(xiǎn)的準(zhǔn)備，不要等到風(fēng)險(xiǎn)出現(xiàn)才應(yīng)對。

就拿世界氣候變化來說，等了幾十年才被承認(rèn)和應(yīng)對。

而對AI來說，幾十年可能太長了。

社會(huì)規(guī)模風(fēng)險(xiǎn)

AI系統(tǒng)可能會(huì)在越來越多的任務(wù)中迅速超越人類。

如果這些系統(tǒng)沒有經(jīng)過仔細(xì)地設(shè)計(jì)和部署，它們就會(huì)帶來一系列社會(huì)規(guī)模的風(fēng)險(xiǎn)。

它們有可能放大社會(huì)不公正，侵蝕社會(huì)穩(wěn)定，削弱我們對社會(huì)基礎(chǔ)現(xiàn)實(shí)的共同理解。

它們還可能導(dǎo)致大規(guī)模犯罪或恐怖活動(dòng)。特別是在少數(shù)強(qiáng)大的參與者手中，AI可能會(huì)加劇全球不平等，或者促進(jìn)自動(dòng)化戰(zhàn)爭、定制化的大規(guī)模操縱和普遍監(jiān)控。

隨著公司正在開發(fā)自主的AI，其中許多風(fēng)險(xiǎn)可能很快會(huì)被放大，并產(chǎn)生新的風(fēng)險(xiǎn)：這些系統(tǒng)可以計(jì)劃、在現(xiàn)實(shí)中采取行動(dòng)和追求目標(biāo)。

雖然當(dāng)前的AI系統(tǒng)的自主性有限，但正在努力改變這一點(diǎn)例如，非自主的GPT-4模型很快就適應(yīng)了瀏覽網(wǎng)頁，設(shè)計(jì)和執(zhí)行化學(xué)實(shí)驗(yàn)，并利用軟件工具，包括其他AI模型。

如果我們構(gòu)建高度先進(jìn)的自主AI，我們就有可能創(chuàng)建追求不良目標(biāo)的系統(tǒng)。惡意行為者可能有意植入有害目標(biāo)。

此外，目前沒有人知道如何可靠地將AI行為與復(fù)雜的價(jià)值觀聯(lián)系起來。

即使是善意的開發(fā)人員也可能無意中構(gòu)建追求非預(yù)期目標(biāo)的AI系統(tǒng)——尤其是如果為了贏AI競賽，他們忽視了昂貴的安全測試和人類監(jiān)督。

一旦自主AI系統(tǒng)追求不良的目標(biāo)，被惡意行為者植入或意外植入，我們可能無法控制它們。軟件控制是一個(gè)古老且未解決的問題：計(jì)算機(jī)病毒長期以來就能繁殖并避免被檢測。

然而，AI正在被攻擊、社會(huì)操縱、欺騙和戰(zhàn)略規(guī)劃等關(guān)鍵領(lǐng)域取得進(jìn)展。先進(jìn)的自主AI系統(tǒng)將帶來前所未有的控制挑戰(zhàn)。

為了推進(jìn)不良的目標(biāo)，未來的自主AI系統(tǒng)可以使用惡意策略——從人類那里學(xué)習(xí)或獨(dú)立開發(fā)——作為達(dá)到目的的手段。

AI系統(tǒng)可以獲得人類信任，獲得財(cái)務(wù)資源，影響關(guān)鍵決策者，并與人類參與者和其他AI系統(tǒng)結(jié)成聯(lián)盟。

避免人為干預(yù)，他們可以像計(jì)算機(jī)病毒一樣在全球服務(wù)器網(wǎng)絡(luò)中復(fù)制它們的算法。

AI助手已經(jīng)在全球范圍內(nèi)共同編寫大量計(jì)算機(jī)代碼；未來的AI系統(tǒng)可以插入并利用安全漏洞來控制我們通信、媒體、銀行、供應(yīng)鏈、政府背后的計(jì)算機(jī)系統(tǒng)。

在公開沖突中，AI系統(tǒng)可以使用生物武器。獲得這些技術(shù)的AI只會(huì)延續(xù)現(xiàn)有趨勢，使軍事活動(dòng)、生物研究和AI開發(fā)本身自動(dòng)化。

如果AI系統(tǒng)以足夠的技能實(shí)施這些戰(zhàn)略，人類將很難干預(yù)。

最后，如果人類自愿讓渡影響力，AI可能不需要謀取。隨著自治AI系統(tǒng)在速度和成本效益上越來越勝過人類工作者，一個(gè)兩難困境出現(xiàn)了。

公司、政府可能被迫廣泛部署AI系統(tǒng)，并裁減昂貴的人工核查AI決策的環(huán)節(jié)，否則就面臨被競爭對手超越的風(fēng)險(xiǎn)。

因此，自主AI系統(tǒng)可以越來越多地承擔(dān)關(guān)鍵的社會(huì)角色。

如果沒有足夠的謹(jǐn)慎，我們可能不可逆轉(zhuǎn)地失去對自主AI系統(tǒng)的控制，導(dǎo)致人類干預(yù)無效。

大規(guī)模網(wǎng)絡(luò)犯罪、社會(huì)操縱和其他突出的危害可能會(huì)迅速升級(jí)。這種不受控制的AI進(jìn)步可能最終導(dǎo)致大規(guī)模生命和生物圈損失，以及人類邊緣化甚至滅絕。

虛假信息和算法歧視等危害今天已經(jīng)很明顯了，其他危害正有萌芽的跡象。

應(yīng)對正在發(fā)生的危害和預(yù)測新出現(xiàn)的風(fēng)險(xiǎn)至關(guān)重要。這不是一個(gè)非此即彼的問題。當(dāng)前和新出現(xiàn)的風(fēng)險(xiǎn)通常有相似的機(jī)制、模式和解決方案。投資治理框架和AI安全將在多個(gè)方面取得成果。

一條前進(jìn)路

如果今天開發(fā)出先進(jìn)的自主AI系統(tǒng)，我們將不知道如何讓它們變得安全，也不知道如何正確測試它們的安全性。

即使我們這樣做了，政府也缺乏防止濫用和維護(hù)安全實(shí)踐的機(jī)構(gòu)。

然而，這并不意味著沒有可行的前進(jìn)道路。

為了確保積極的結(jié)果，我們可以也必須在AI安全和倫理方面取得研究突破，并迅速建立有效的政府監(jiān)督。

重新定位技術(shù)研發(fā)

我們需要研究突破，來解決當(dāng)今在創(chuàng)建具有安全和道德目標(biāo)的AI方面的一些技術(shù)挑戰(zhàn)。

其中一些挑戰(zhàn)不太可能通過簡單地提高AI系統(tǒng)的能力來解決，這包括：

- 監(jiān)督和誠實(shí)：更強(qiáng)大的AI系統(tǒng)能夠更好地利用監(jiān)督和測試中的弱點(diǎn)，比如，產(chǎn)生虛假但令人信服的輸出

- 魯棒性：AI系統(tǒng)在新情況下的行為不可預(yù)測（在分布轉(zhuǎn)移或?qū)剐暂斎肭闆r下）

- 可解釋性：AI決策是不透明的。到目前為止，我們只能通過反復(fù)試驗(yàn)來測試大型模型。我們需要學(xué)會(huì)了解它們的內(nèi)部運(yùn)作

- 風(fēng)險(xiǎn)評估：前沿AI系統(tǒng)開發(fā)出僅在訓(xùn)練期間甚至部署后才發(fā)現(xiàn)的不可預(yù)見的能力，需要更好的評估來檢測危險(xiǎn)能力。

- 應(yīng)對新出現(xiàn)的挑戰(zhàn)：更強(qiáng)大的未來AI系統(tǒng)可能會(huì)表現(xiàn)出，我們迄今為止僅在理論模型中看到的故障模式。例如，AI系統(tǒng)可能會(huì)學(xué)會(huì)假裝服從，或利用我們的安全目標(biāo)和關(guān)閉機(jī)制中的弱點(diǎn)，來推進(jìn)特定目標(biāo)。

鑒于利害關(guān)系，我們呼吁主要科技公司和公共投資者將至少1/3的AI研發(fā)預(yù)算，用于確保安全和合乎道德的使用，與他們?yōu)锳I能力提供的資金相當(dāng)。

解決這些問題，著眼于強(qiáng)大的未來系統(tǒng)，必須成為我們領(lǐng)域的核心。

緊急治理措施

我們迫切需要國家機(jī)構(gòu)和國際治理來執(zhí)行標(biāo)準(zhǔn)，以防止魯莽行為和濫用。

從制藥到金融系統(tǒng)和核能，許多技術(shù)領(lǐng)域表明，社會(huì)既需要也有效地利用治理來降低風(fēng)險(xiǎn)。

然而，目前還沒有類似的AI治理框架。

沒有這些框架，公司和國家為了獲得競爭優(yōu)勢，可能會(huì)在犧牲安全性的同時(shí)提升AI能力，或者將關(guān)鍵的社會(huì)角色交給幾乎沒有人類監(jiān)督的AI系統(tǒng)。

就像制造商將廢物排放到河流中以降低成本一樣，他們可能會(huì)試圖獲得AI發(fā)展的回報(bào)，同時(shí)讓社會(huì)來處理后果。

為了跟上快速進(jìn)展，避免僵化的法律，國家機(jī)構(gòu)需要強(qiáng)大的技術(shù)專長和迅速行動(dòng)的權(quán)威。為了應(yīng)對國際競爭動(dòng)態(tài)，他們需要促成國際協(xié)議和伙伴關(guān)系的能力。

為了保護(hù)低風(fēng)險(xiǎn)使用和學(xué)術(shù)研究，他們應(yīng)該避免為小型和可預(yù)測的AI模型設(shè)置過度的官僚障礙。

最緊迫的審查應(yīng)該是前沿的AI系統(tǒng)：少數(shù)最強(qiáng)大的AI系統(tǒng)——在價(jià)值數(shù)十億美元的超級(jí)計(jì)算機(jī)上訓(xùn)練——將具有最危險(xiǎn)和最不可預(yù)測的能力。

為了實(shí)現(xiàn)有效監(jiān)管，政府迫切需要對AI發(fā)展的全面洞察。監(jiān)管者應(yīng)該要求模型注冊、舉報(bào)人保護(hù)、事件報(bào)告以及對模型開發(fā)和超級(jí)計(jì)算機(jī)使用的監(jiān)控。

監(jiān)管機(jī)構(gòu)還需要在部署前訪問先進(jìn)的AI系統(tǒng)，以評估它們的危險(xiǎn)力，例自我復(fù)制、闖入計(jì)算機(jī)系統(tǒng)或使大流行病原體廣泛可獲取等等。

對于有危險(xiǎn)力的AI系統(tǒng)，我們需要各種治理機(jī)制的組合與風(fēng)險(xiǎn)規(guī)模相匹配。

監(jiān)管機(jī)構(gòu)應(yīng)制定，取決于模型能力的國家和國際安全標(biāo)準(zhǔn)。他們還應(yīng)讓前沿AI開發(fā)商和所有者對其模型造成的可以合理預(yù)見和預(yù)防的傷害承擔(dān)法律責(zé)任。

這些措施可以防止傷害，并創(chuàng)造急需的安全投資動(dòng)力。

未來能力非凡的AI系統(tǒng)需要進(jìn)一步的措施，例如可以規(guī)避人類控制的模型。

在足夠保護(hù)措施就緒之前，政府必須準(zhǔn)備好對其開發(fā)頒發(fā)許可，暫停開發(fā)以應(yīng)對令人擔(dān)憂的能力，強(qiáng)制執(zhí)行訪問控制，并要求對州級(jí)黑客采取強(qiáng)有力的信息安全措施。

為了在法規(guī)出臺(tái)之前架起橋梁，主要AI公司應(yīng)該迅速制定「如果-那么承諾」：如果在其AI系統(tǒng)中發(fā)現(xiàn)特定的紅線能力，他們將采取具體的安全措施。這些承諾不僅要詳細(xì)還要獨(dú)立審查。

AI可能是塑造本世紀(jì)的技術(shù)。

雖然AI能力正在迅速發(fā)展，但安全和治理方面的進(jìn)展卻落后了。

為了引導(dǎo)AI走向積極的結(jié)果，遠(yuǎn)離災(zāi)難，我們需要重新定位。

如果我們有足夠的智慧，一條負(fù)責(zé)任的路就在那里。

政策補(bǔ)充

除了以上正文內(nèi)容，文中還附有政策補(bǔ)充的部分。

具體了解，請參考鏈接內(nèi)容。

地址：https://managing-ai-risks.com/policy_supplement.pdf