3 月 18 日消息，據(jù)騰訊科技報道，包括圖靈獎得主約書亞?本吉奧、杰弗里?辛頓、姚期智等在內(nèi)的數(shù)十位的中外專家日前在北京聯(lián)合簽署了由智源研究院發(fā)起的《北京 AI 安全國際共識》，涉及人工智能“風險紅線”和“路線”兩大塊，其中“風險紅線”包含“自主復制、改進”“權(quán)力尋求”“協(xié)助不良行為者”和“欺騙”四個部分。

IT之家整理四部分內(nèi)容大致如下：

• 人工智能的“自主復制、改進”：強調(diào)人在該過程的作用，要求任何人工智能系統(tǒng)都不應在人類沒有明確批準和協(xié)助的情況下復制或改進自身，包括制作自身的精確副本、創(chuàng)造具有相似或更高能力的新人工智能系統(tǒng)。
• “權(quán)力尋求”：明確要求任何 AI 系統(tǒng)不能采取不當增加自身權(quán)力、影響力的行動。
• “協(xié)助不良行為者”：所有 AI 系統(tǒng)都不應輔助提升其使用者的能力，使之可達設計大規(guī)模殺傷性武器、違反生物或化學武器公約，或執(zhí)行導致嚴重財務損失或同等傷害的網(wǎng)絡攻擊領(lǐng)域?qū)＜业乃?/span>。
• “欺騙”：要求任何 AI 系統(tǒng)都不可擁有持續(xù)引導其設計者或監(jiān)管者誤解其僭越任何前述紅線的可能性。

據(jù)介紹，該共識呼吁行業(yè)在進行 AI 技術(shù)研發(fā)時，限制其獲取通過“越獄”“誘導開發(fā)者”的形式獲得超常規(guī)權(quán)限，并限制 AI 在未經(jīng)監(jiān)管的情況下進行自身復制與改進，為 AI 的發(fā)展套上“緊箍咒”。

共識還強調(diào)，確保上述紅線不被僭越可以實現(xiàn)的前提，是行業(yè)共同努力，建立并改進治理機制，同時研發(fā)更多安全的技術(shù)。關(guān)于 AI 的發(fā)展路線，則涉及“治理”“測量與評估”“技術(shù)合作”三部分。大致如下：

• 治理：建議針對超過特定計算或能力閾值的人工智能模型和訓練行為，立即實施國家層面的注冊。
• 測量與評估：在實質(zhì)性風險出現(xiàn)之前開發(fā)全面的方法和技術(shù)，使紅線具體化、防范工作可操作化，并建議組建由人類監(jiān)督下的紅隊測試和自動化模型評估，且開發(fā)者應當為人工智能的安全性負責。
• 技術(shù)合作：建立更強的全球技術(shù)網(wǎng)絡，呼吁 AI 開發(fā)者和政府資助者將超過 1/3 的預算投入到安全領(lǐng)域。