10 月 27 日消息，OpenAI 今日宣布，正建立 Preparedness 團隊來評估通用 AI（Artificial General Intelligence，AGI）可能造成的災難性風險，該團隊交由麻省理工學院（MIT）的可部署機器學習中心主任 Aleksander Madry 主導。

Our approach to preparedness

We believe that frontier AI models,which will exceed the capabilities currently present in th most advanced existing models,have the potential to benefit all of humanity.But they also pose increasingly severe risks.Managing the catastrophic risks from frontier AI will require answering questions like:

• How dangerous are frontier AI systems when put to misuse,both now and in the future?
• How can we build a robust framework for monitoring,evaluation,prediction,and protection against the dangerous capabilities of frontier AI systems?
• If our frontier AI model weights were stolen,how might malicious actors choose to leverage them?

OpenAI 表示，未來的 AI 模型雖然擁有造福全人類的潛力，但也可能帶來嚴重的風險，因此需要建立一個強大的框架來監(jiān)控、評估、預測及防范這些 AI 模型。

據(jù)悉，OpenAI 設(shè)立了 Preparedness 團隊，將針對各種 AI 模型進行能力評估及紅隊測試，以追蹤、預測及防范各類別的災難性風險。

IT之家發(fā)現(xiàn)，OpenAI 宣稱的相關(guān)風險，主要包含以下三大類：

• 說服人類能力：AI 輸出的內(nèi)容是否會影響人類的行為
• 生成不當內(nèi)容：AI 是否會生成有關(guān)化學 / 生物 / 放射性 / 核(CBRN)等危險內(nèi)容
• 自主復制與適應能力(Autonomous Replication and Adaptation，ARA)：AI 是否會在自我迭代中脫離人類的控制

OpenAI 已開始招募不同背景的人才加入 Preparedness 團隊，同時推出 AI Preparedness 挑戰(zhàn)賽，鼓勵參賽者以黑客名義，“破解”Whisper、Voice、GPT-4V、DALLE3 等模型，前 10 名將可獲得 OpenAI 所提供的、價值 2.5 萬美元（IT之家備注：當前約 18.3 萬元人民幣）的 API 使用額度。