偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

給機(jī)器下「遺忘咒」?谷歌發(fā)起首個(gè)機(jī)器遺忘挑戰(zhàn)賽

人工智能 新聞
給機(jī)器來(lái)一杯「忘情水」,這算不算機(jī)器遺忘?近日,谷歌 AI 宣布聯(lián)合廣泛的學(xué)界與業(yè)界研究團(tuán)隊(duì),組織首個(gè)機(jī)器遺忘挑戰(zhàn)賽(Machine Unlearning Challenge)。

機(jī)器學(xué)習(xí)經(jīng)常被提及,那你有聽(tīng)過(guò)機(jī)器遺忘嗎?

機(jī)器學(xué)習(xí)的目的大家都了解,它能夠幫助我們的工作提升效率。但是機(jī)器遺忘是何目的?難道是「棄學(xué)」?

圖片

現(xiàn)在,不僅關(guān)于機(jī)器話題的討論變得火熱,甚至出現(xiàn)專(zhuān)門(mén)為機(jī)器遺忘組織的挑戰(zhàn)。

近日,谷歌 AI 宣布聯(lián)合廣泛的學(xué)界與業(yè)界研究團(tuán)隊(duì),組織首個(gè)機(jī)器遺忘挑戰(zhàn)賽(Machine Unlearning Challenge)。

至于舉辦這一機(jī)器遺忘挑戰(zhàn)賽的目的,谷歌表示希望有助于推進(jìn)機(jī)器遺忘的 SOTA 水平,并鼓勵(lì)開(kāi)發(fā)高效、有效和合乎道德的遺忘算法。

圖片圖片

比賽內(nèi)容都有啥?

具體地講,該挑戰(zhàn)賽考慮這樣一個(gè)真實(shí)場(chǎng)景:其中一個(gè)年齡預(yù)測(cè)器在人臉圖像數(shù)據(jù)上進(jìn)行了訓(xùn)練,接著在訓(xùn)練后,訓(xùn)練圖像的某個(gè)子集必須被遺忘,以保護(hù)相關(guān)個(gè)人的隱私或其他權(quán)利。

圖片圖片

摘自 Face synaesthetics 數(shù)據(jù)集的圖像以及年齡注釋。

比賽將在 Kaggle 平臺(tái)上舉辦,提交的作品將根據(jù)遺忘質(zhì)量和模型實(shí)用性進(jìn)行自動(dòng)評(píng)分。

其中對(duì)于評(píng)估遺忘,本次挑戰(zhàn)賽將使用受成員推理(Membership inference attacks, MIAs)啟發(fā)的工具,如 LiRa。MIAs 最初是在隱私和安全文獻(xiàn)中開(kāi)發(fā),其目的是推斷哪些示例是訓(xùn)練集的一部分。

直白地講,如果遺忘成功,遺忘過(guò)的模型中將不包含被遺忘示例的痕跡,這會(huì)導(dǎo)致 MIA 失敗,即進(jìn)攻者無(wú)法獲知被遺忘集實(shí)際上是原始訓(xùn)練集的一部分。

此外,評(píng)估中還將使用統(tǒng)計(jì)測(cè)試來(lái)量化「遺忘模型的分布」與從頭開(kāi)始重新訓(xùn)練的模型的分布的差異程度。

相關(guān)比賽的信息可以查閱以下兩個(gè)鏈接:

或許有讀者要問(wèn)了,為什么在機(jī)器學(xué)習(xí)的浪潮中,還會(huì)有這樣一股機(jī)器遺忘的「逆流」奔涌呢?

什么是機(jī)器遺忘

機(jī)器遺忘是機(jī)器學(xué)習(xí)的一個(gè)新興領(lǐng)域,最終目的是消除一個(gè)訓(xùn)練模型特定訓(xùn)練樣本子集的影響,即消除「遺忘集」(forget set)的影響。

此外,較為理想的遺忘算法在消除某些樣本影響的同時(shí),還應(yīng)該保留其他有益的特性,比如在其余訓(xùn)練集上的準(zhǔn)確性以及對(duì)保留樣本的泛化性。

下圖為遺忘學(xué)習(xí)的剖析。遺忘算法將一個(gè)預(yù)訓(xùn)練模型以及要遺忘的訓(xùn)練集中的一個(gè)或多個(gè)樣本作為輸入。然后基于該模型、遺忘集和保留集,遺忘算法會(huì)生成一個(gè)更新模型。理想遺忘算法生成的模型與沒(méi)有遺忘集參與訓(xùn)練的模型沒(méi)有區(qū)別。

圖片圖片

其實(shí),有一個(gè)很「暴力」的方法能夠得到這種理想的模型,就是在排除遺忘集樣本后,重新訓(xùn)練模型。這個(gè)「暴力」手段雖立竿見(jiàn)影,但并不可行,因?yàn)橹匦掠?xùn)練深度模型的成本實(shí)在太過(guò)高昂。

因此,遺忘學(xué)習(xí)算法應(yīng)該是以訓(xùn)練好的模型作為基點(diǎn),并對(duì)其進(jìn)行調(diào)整,來(lái)消除所要求數(shù)據(jù)帶來(lái)的影響。

機(jī)器遺忘學(xué)習(xí)不僅僅應(yīng)用于保護(hù)用戶隱私,還能夠通過(guò)訓(xùn)練,刪除訓(xùn)練模型中不準(zhǔn)確或者過(guò)時(shí)的信息,甚至是異?;蛘哂泻Φ臄?shù)據(jù)。當(dāng)然,這比消除幾個(gè)指定遺忘集難度大得多,這也意味著它更有用處,比如它可以通過(guò)糾正偏見(jiàn)或?qū)儆诓煌后w的歧視來(lái)提高模型的公平性。

「清掃、清掃,全都扔掉」「清掃、清掃,全都扔掉」

為何要發(fā)展機(jī)器遺忘

大家都受益于網(wǎng)絡(luò)信息的易得性,但是往往忽略了在整個(gè)網(wǎng)絡(luò)上刪除某一信息的艱難。這堪比將一捧沙子撒入海里,再?gòu)牟粩嘤縿?dòng)的海水中將沙粒一個(gè)個(gè)撿起,更重要的是,這些沙粒有不斷復(fù)制的可能。

由此可見(jiàn),信息及時(shí)被刪除了也能通過(guò)各種手段有所保留。

在網(wǎng)絡(luò)中留下的足跡,雖可能不被查詢,但印記永存。2012 歐盟委員會(huì)就曾公布草案提出數(shù)據(jù)主體應(yīng)享有「被遺忘權(quán)」。這對(duì)大數(shù)據(jù)背景下互聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展具有深遠(yuǎn)而廣泛的影響。

更別說(shuō)近期正火熱的大型語(yǔ)言模型,更是以海量的數(shù)據(jù)集作為基礎(chǔ)進(jìn)行發(fā)展的。大模型對(duì)于訓(xùn)練集的細(xì)節(jié)內(nèi)容會(huì)進(jìn)行學(xué)習(xí)和記憶,其中不乏用戶的隱私信息,這導(dǎo)致可能涉及的隱私風(fēng)險(xiǎn)更加嚴(yán)峻。

因此機(jī)器學(xué)習(xí)模型中的安全和隱私問(wèn)題是研究者必定面臨的挑戰(zhàn)。

圖片圖片

網(wǎng)友表示,這場(chǎng)挑戰(zhàn)賽將推動(dòng)隱私保護(hù)。

在這樣艱難、復(fù)雜的條件下,機(jī)器遺忘應(yīng)運(yùn)而生,有關(guān)于它的討論和學(xué)習(xí)也日益成為機(jī)器學(xué)習(xí)領(lǐng)域的焦點(diǎn)之一。


責(zé)任編輯:張燕妮 來(lái)源: 機(jī)器之心
相關(guān)推薦

2024-08-21 09:57:38

2023-07-21 12:48:37

2024-08-26 08:45:00

機(jī)器模型

2017-03-28 17:18:20

2017-09-19 19:58:20

聯(lián)想超融合

2017-05-02 11:26:36

開(kāi)發(fā)者、Java、PH

2014-03-13 18:02:57

SAPd-codeLumira

2022-10-14 15:27:02

應(yīng)用開(kāi)發(fā)鴻蒙

2022-10-10 15:01:35

手寫(xiě)板鴻蒙

2025-05-19 14:55:41

機(jī)器人訓(xùn)練AI

2021-06-21 10:26:09

Linuxgpio_keys代碼

2016-05-17 14:24:56

亞馬遜機(jī)器學(xué)習(xí)

2018-06-12 00:33:20

AI機(jī)器學(xué)習(xí)人工智能

2022-10-20 08:02:29

ELFRTOSSymbol

2014-05-16 15:39:35

Esri開(kāi)發(fā)者大會(huì)APP

2009-07-23 11:39:42

網(wǎng)易有道有道難題

2023-02-28 12:38:22

谷歌數(shù)據(jù)集機(jī)器翻譯

2023-02-28 13:13:51

AI智能

2009-09-03 09:08:08

Linuxroot密碼遺忘

2020-07-20 11:23:24

信息安全個(gè)人信息數(shù)據(jù)安全
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)