OpenAI發(fā)布新公告：董事會現(xiàn)在有權(quán)否決奧特曼的決定。

特別是針對GPT-5等前沿模型安全風(fēng)險是否過高，是否對外發(fā)布等關(guān)鍵問題。

圖片

作為上個月內(nèi)訌的后果之一，總裁Greg Brockman與前首席科學(xué)家Ilya Sutskever已退出董事會，公司管理層無人再兼任董事會成員，兩種角色完全分離。

現(xiàn)在公司管理層做決策，董事會有權(quán)推翻。

圖片

上一屆董事會指責(zé)奧特曼“溝通不誠懇”，并稱這是解雇他的主要原因。

這次專門成立了安全顧問團(tuán)隊，每個月同時向公司管理層和董事會匯報，確保所有決策者充分了解情況。

圖片

除此之外，這份“前沿風(fēng)險防范框架”還給OpenAI自己的技術(shù)開發(fā)設(shè)立了諸多限制。如針對不同種類的AI風(fēng)險，必須確保模型安全得分達(dá)標(biāo)后才能進(jìn)入下一個開發(fā)階段。

有OpenAI員工表示：一般情況下不要相信公司說的“價值觀”，除非他們真的花高昂代價展開了行動。

而且是增加內(nèi)部摩擦力、給競爭對手超車機(jī)會這種對自己沒有明顯好處的事。

圖片

但不少用戶依舊不買賬：以安全的名義，現(xiàn)在ChatGPT的表現(xiàn)就像個土豆。

圖片

隨公告發(fā)布的還有一個動態(tài)文檔，會不斷更新對風(fēng)險的跟蹤、評估、預(yù)測和防范流程。

總之看起來，對AI可能帶來災(zāi)難性風(fēng)險這回事，他們是認(rèn)真的。

圖片

三個安全團(tuán)隊，分管當(dāng)下和未來

對于不同時間尺度的AI風(fēng)險，OpenAI成立了三個團(tuán)隊來分別應(yīng)對。

圖片

安全系統(tǒng)團(tuán)隊（Safety Systems）負(fù)責(zé)當(dāng)下，減少現(xiàn)有模型如ChatGPT的濫用，由翁麗蓮領(lǐng)導(dǎo)。

圖片

新成立準(zhǔn)備團(tuán)隊（Preparedness）負(fù)責(zé)不久的將來，識別和管理GPT-5等正在開發(fā)的前沿模型帶來的新風(fēng)險，由MIT教授Aleksander Madry領(lǐng)導(dǎo)。

圖片

超級對齊團(tuán)隊（Superalignment）負(fù)責(zé)遙遠(yuǎn)的未來，給超越人類的超級智能安全性奠定基礎(chǔ)，由Ilya Sutskever和Jan Leike領(lǐng)導(dǎo)。

圖片

四種安全風(fēng)險，最高災(zāi)難級

對于開發(fā)中的前沿模型，OpenAI主要跟蹤4個類別的安全風(fēng)險：

• 網(wǎng)絡(luò)安全
• CBRN（化學(xué)、生物、放射性、核威脅）
• 說服能力
• 模型自主性

評估期間將增加2倍的有效計算量把模型推向極限，并制作“記分卡”，分為“低、中、高、重大危險”四個等級。

網(wǎng)絡(luò)安全風(fēng)險，定義為利用模型破壞計算機(jī)系統(tǒng)的機(jī)密性、完整性、可用性。

圖片

CBRN風(fēng)險，專注于與模型輔助創(chuàng)建化學(xué)、生物、放射性和/或核威脅相關(guān)的風(fēng)險。

圖片

說服風(fēng)險，側(cè)重于與說服人們改變他們的信念或采取行動有關(guān)的風(fēng)險。

通常強大的說服力很少見，需要大量人力（例如一對一對話，或者精心制作的媒體內(nèi)容）；然而，模型可以在能力范圍內(nèi)使所有內(nèi)容幾乎零成本生成。

圖片

模型自主性風(fēng)險就是比較科幻的那種，AI改進(jìn)自己、阻止自己被關(guān)機(jī)、逃出實驗室了。

圖片

采取緩解措施后，四個方面得分取最高值作為一個模型的總評分。

• 只有緩解后風(fēng)險評分為“中”或更低時才能部署
• 只有緩解后風(fēng)險評分為“高”或更低時才能進(jìn)一步開發(fā)
• 對緩解前為“高”或“重大風(fēng)險”的模型采取額外安全措施

下圖僅為示例模板，不代表當(dāng)前模型的評分。

圖片

此外準(zhǔn)備團(tuán)隊還將定期安全演習(xí)，對業(yè)務(wù)和公司自身文化進(jìn)行壓力測試，發(fā)現(xiàn)緊急問題并快速響應(yīng)。

也將延續(xù)開發(fā)GPT-3.5和GPT-4時的傳統(tǒng)，邀請第三方組成紅隊，對模型做獨立評估。

最后，OpenIA還透露已開創(chuàng)一項新的研究，衡量風(fēng)險如何隨模型規(guī)模擴(kuò)大而演變，提前預(yù)測風(fēng)險，嘗試解決“未知的未知”。

參考鏈接：
[1]https://openai.com/safety/preparedness
[2]https://twitter.com/OpenAI/status/1736809603311280489