2015黑帽大會(huì):機(jī)器學(xué)習(xí)安全需增加多樣性
與掃描已知簽名的系統(tǒng)相比,機(jī)器學(xué)習(xí)可更好地檢測(cè)惡意軟件。在2015年黑帽大會(huì)上,研究人員稱若機(jī)器學(xué)習(xí)增加多樣性,則可進(jìn)一步拉開這個(gè)差距。
在2015年黑帽大會(huì)上,Northrop Grumman公司子公司的兩位研究人員認(rèn)為,雖然供應(yīng)商將機(jī)器學(xué)習(xí)整合到其產(chǎn)品,但他們沒有使用站點(diǎn)特有的訓(xùn)練數(shù)據(jù)來區(qū)分一個(gè)部署與另一個(gè)部署,這就讓他們錯(cuò)失了讓更廣泛安全生態(tài)系統(tǒng)變得更強(qiáng)大的機(jī)會(huì)。
機(jī)器學(xué)習(xí)專家Bob Klein正在為Northop子公司Acuity Solutions研究被稱為BluVector的產(chǎn)品,他將他們的概念稱為“移動(dòng)防御”,他解釋說,這好比在一個(gè)村莊,鎖匠向所有人銷售相同類型的鎖,這樣安全性非常低。小偷只需要拿到一把鎖,然后花時(shí)間學(xué)習(xí)如何解鎖,之后每家每戶都可以讓他行竊了。
Klein和BluVector工程師Ryan Petes認(rèn)為,對(duì)于機(jī)器學(xué)習(xí)系統(tǒng),使用相同的數(shù)據(jù)來訓(xùn)練系統(tǒng)會(huì)產(chǎn)生功能相同的“鎖”,無論如何部署,安全性都不會(huì)很高。
“現(xiàn)實(shí)情況是,與基于簽名的產(chǎn)品相比,機(jī)器學(xué)習(xí)系統(tǒng)讓攻擊者獲得兩大優(yōu)勢(shì),”Klein稱,“第一個(gè)優(yōu)勢(shì)是他們可以非常確定這種模式?jīng)]有被改變,因?yàn)樗麄儷@得了軟件的副本;第二個(gè)優(yōu)勢(shì)是所有目標(biāo)都是使用相同的模式。如果你可以攻破該模式的一個(gè)副本,你就可以攻破所有副本。”
“而現(xiàn)在真正不同的是,村莊里出現(xiàn)一個(gè)新的鎖匠,他以‘機(jī)器學(xué)習(xí)’的品牌制造新的真正強(qiáng)大的鎖,這些鎖要比舊鎖更好,它們更具強(qiáng)大,更加不容易被撬鎖。但你猜怎么著,他也在賣相同的鎖。”
這兩名研究人員探討了為機(jī)器學(xué)習(xí)安全模式使用略為不同數(shù)據(jù)集的作用。他們進(jìn)行了基準(zhǔn)測(cè)試,其中他們?yōu)槿菀讬z測(cè)到的惡意軟件樣本創(chuàng)建了不同的排列,然后對(duì)每個(gè)排列進(jìn)行測(cè)試,看看是否能通過機(jī)器學(xué)習(xí)系統(tǒng),這個(gè)過程不斷重復(fù),直到1900次迭代和15小時(shí)后,有個(gè)排列繞過了該系統(tǒng)。
在這一點(diǎn)上,核心問題出現(xiàn)了:在這種模式的不同部署中可否引入細(xì)微變化而讓有些部署可捕捉一些排列(應(yīng)該說,錯(cuò)過其他排列)?
這些變化理論上來自供應(yīng)商或通過其他機(jī)制,但這些研究人員感興趣的是使用該系統(tǒng)部署所在站點(diǎn)的數(shù)據(jù),他們將這稱為“就地”學(xué)習(xí)。對(duì)于就地學(xué)習(xí),令人興奮的地方并不是我們?cè)试S人們購買不同的鎖,而是我們實(shí)際上讓每個(gè)人變成鎖匠。
而且,我們完全可以添加本地?cái)?shù)據(jù)來確保更好的檢測(cè)。在某些情況下,例如根據(jù)定義不能在供應(yīng)商最初創(chuàng)建機(jī)器學(xué)習(xí)模式時(shí)使用的數(shù)據(jù)集中的機(jī)密文檔,就會(huì)添加全新的檢測(cè)領(lǐng)域。在Klein和Peters的測(cè)試中,這種排列模式會(huì)看到檢測(cè)方面的顯著改進(jìn)。
具體來說,當(dāng)四組有所不同的數(shù)據(jù)集用于訓(xùn)練時(shí),攻擊文件的模糊版本被發(fā)現(xiàn)繞過機(jī)器學(xué)習(xí)安全工具,而會(huì)被四個(gè)不同訓(xùn)練模式的另外三個(gè)所檢測(cè)。雖然事實(shí)是其中有一個(gè)模式?jīng)]有檢測(cè)到該攻擊,但該系統(tǒng)也沒有部署“移動(dòng)防御”做法。
黑帽大會(huì)上的與會(huì)者對(duì)“移動(dòng)防御”的概念很感興趣,他們提出了在部署時(shí)可能出現(xiàn)的潛在實(shí)際問題。Qualcomm公司研究工程師Anil Gathala表示,“他們的問題是如何生成幾乎一樣好但與基礎(chǔ)模型差不多的分類器,我認(rèn)為這不是一個(gè)簡(jiǎn)單的問題。”
還有其他問題,如果你從供應(yīng)商購買了一個(gè)東西,但你的鄰居在得到這個(gè)鎖的排列后阻止了攻擊,而你與其不同排列則沒有攻擊,那么,問題是,如果你提供了數(shù)據(jù)讓你的模式差異化,這個(gè)供應(yīng)商是否應(yīng)承擔(dān)責(zé)任?即使這個(gè)做法整體更好,是否有統(tǒng)計(jì)數(shù)據(jù)證明該系統(tǒng)的優(yōu)越性讓你感覺更好?
“在這一點(diǎn),我們?cè)噲D從攻擊者的角度來考慮,”Klein稱,“如果你受到攻擊,你要安裝一把不同的鎖,這會(huì)令人沮喪。這種移動(dòng)防御對(duì)大家更好,但所有人都使用相同的模式真的很危險(xiǎn)。”