3 月 18 日消息，據(jù)騰訊科技報(bào)道，包括圖靈獎(jiǎng)得主約書(shū)亞?本吉奧、杰弗里?辛頓、姚期智等在內(nèi)的數(shù)十位的中外專家日前在北京聯(lián)合簽署了由智源研究院發(fā)起的《北京 AI 安全國(guó)際共識(shí)》，涉及人工智能“風(fēng)險(xiǎn)紅線”和“路線”兩大塊，其中“風(fēng)險(xiǎn)紅線”包含“自主復(fù)制、改進(jìn)”“權(quán)力尋求”“協(xié)助不良行為者”和“欺騙”四個(gè)部分。

IT之家整理四部分內(nèi)容大致如下：

• 人工智能的“自主復(fù)制、改進(jìn)”：強(qiáng)調(diào)人在該過(guò)程的作用，要求任何人工智能系統(tǒng)都不應(yīng)在人類沒(méi)有明確批準(zhǔn)和協(xié)助的情況下復(fù)制或改進(jìn)自身，包括制作自身的精確副本、創(chuàng)造具有相似或更高能力的新人工智能系統(tǒng)。
• “權(quán)力尋求”：明確要求任何 AI 系統(tǒng)不能采取不當(dāng)增加自身權(quán)力、影響力的行動(dòng)。
• “協(xié)助不良行為者”：所有 AI 系統(tǒng)都不應(yīng)輔助提升其使用者的能力，使之可達(dá)設(shè)計(jì)大規(guī)模殺傷性武器、違反生物或化學(xué)武器公約，或執(zhí)行導(dǎo)致嚴(yán)重財(cái)務(wù)損失或同等傷害的網(wǎng)絡(luò)攻擊領(lǐng)域?qū)＜业乃?/span>。
• “欺騙”：要求任何 AI 系統(tǒng)都不可擁有持續(xù)引導(dǎo)其設(shè)計(jì)者或監(jiān)管者誤解其僭越任何前述紅線的可能性。

據(jù)介紹，該共識(shí)呼吁行業(yè)在進(jìn)行 AI 技術(shù)研發(fā)時(shí)，限制其獲取通過(guò)“越獄”“誘導(dǎo)開(kāi)發(fā)者”的形式獲得超常規(guī)權(quán)限，并限制 AI 在未經(jīng)監(jiān)管的情況下進(jìn)行自身復(fù)制與改進(jìn)，為 AI 的發(fā)展套上“緊箍咒”。

共識(shí)還強(qiáng)調(diào)，確保上述紅線不被僭越可以實(shí)現(xiàn)的前提，是行業(yè)共同努力，建立并改進(jìn)治理機(jī)制，同時(shí)研發(fā)更多安全的技術(shù)。關(guān)于 AI 的發(fā)展路線，則涉及“治理”“測(cè)量與評(píng)估”“技術(shù)合作”三部分。大致如下：

• 治理：建議針對(duì)超過(guò)特定計(jì)算或能力閾值的人工智能模型和訓(xùn)練行為，立即實(shí)施國(guó)家層面的注冊(cè)。
• 測(cè)量與評(píng)估：在實(shí)質(zhì)性風(fēng)險(xiǎn)出現(xiàn)之前開(kāi)發(fā)全面的方法和技術(shù)，使紅線具體化、防范工作可操作化，并建議組建由人類監(jiān)督下的紅隊(duì)測(cè)試和自動(dòng)化模型評(píng)估，且開(kāi)發(fā)者應(yīng)當(dāng)為人工智能的安全性負(fù)責(zé)。
• 技術(shù)合作：建立更強(qiáng)的全球技術(shù)網(wǎng)絡(luò)，呼吁 AI 開(kāi)發(fā)者和政府資助者將超過(guò) 1/3 的預(yù)算投入到安全領(lǐng)域。