安全人員需要擔(dān)心被人工智能取代工作嗎?

安全人員需要擔(dān)心被人工智能取代工作嗎? 今天又被問到了這個問題。望著學(xué)生焦急期待的眼神，作為在安全圈工作二十多年的老司機(jī)，我覺得頗有感觸，并且有話要說。

1. 二十幾年前入學(xué)時被分在人工智能班，到畢業(yè)正趕上一波人工智能的谷底。

當(dāng)年想必同班同學(xué)們都恨不得把“人工智能”幾個字從畢業(yè)證里摳下去 … 做語音識別，自然語言理解，圖像識別的同學(xué)們絕口不提人工智能。我也在大四做了逃兵，早早跳槽去了網(wǎng)絡(luò)系統(tǒng)組，懵懂而幸運(yùn)地去做了網(wǎng)絡(luò)安全。

今非昔比，人工智能的新一輪浪潮來了。 這次帶頭的是深度學(xué)習(xí)技術(shù)。 當(dāng)下深度學(xué)習(xí)技術(shù)在視覺，語音中的廣泛應(yīng)用，對自動駕駛的促進(jìn)，AlphaGo 對人類棋手的碾壓以及其不斷的進(jìn)化，深度學(xué)習(xí)技術(shù)大有一統(tǒng)天下的味道。 在我們安全行業(yè)，這種情景也不例外。 我認(rèn)識的好多安全研究的新老朋友，聽說都在用深度學(xué)習(xí)這把刀子，在各種安全問題上亂捅。

人工智能的其它分枝，尤其是傳統(tǒng)機(jī)器學(xué)習(xí)和遺傳算法，其實(shí)在安全的一些子領(lǐng)域里早就大有所為。特別是在異常行為檢測，信息分類等場景中。 最近很多老朋友也都翻出家底兒，展示自己在安全領(lǐng)域中應(yīng)用人工智能的悠久歷史。

與此同時，機(jī)器自動攻防，自動漏洞挖掘與利用也變成了行業(yè)關(guān)注的方向。 美國DARPA舉辦了CGC全自動攻防挑戰(zhàn)賽，國內(nèi)奇虎360與永信至誠也辦了RHG機(jī)器自動攻防比賽，賽寧XCTF也在全球率先創(chuàng)辦的人機(jī)協(xié)同CTF比賽。 在當(dāng)下這個時間段上，年輕的安全人員擔(dān)憂未來行業(yè)前景，擔(dān)心安全人員的飯碗不保，應(yīng)該可以理解。

[[212400]]

2. 在說說我的觀點(diǎn)前，先扔下兩個事實(shí)。

一個是去年CGC決賽后的人機(jī)安全對抗結(jié)果。 2016 DEFCON CTF 決賽總共15只戰(zhàn)隊(duì)，CGC冠軍 Mayhem 系統(tǒng)最后墊底，輸給了14個人類戰(zhàn)隊(duì)。

當(dāng)然這只是場比賽，比賽第一天Mayhem接口還有問題。但是不要忘記比賽內(nèi)容是為機(jī)器專門設(shè)計的，比賽運(yùn)行在與現(xiàn)實(shí)任務(wù)有相當(dāng)差別的簡化環(huán)境。當(dāng)然其它戰(zhàn)隊(duì)也有自動系統(tǒng)，對機(jī)器在安全對抗的角色我會后續(xù)討論。 不管怎樣，這個結(jié)果至少說明機(jī)器離人類安全戰(zhàn)隊(duì)還有段距離。

另一個事實(shí)是頂尖安全人員的身價最近還在持續(xù)飆升。我怎么知道的?如果你是業(yè)內(nèi)非技術(shù)人員，你可以向你們的HR求證。 安全技術(shù)人員的話，自己水平不錯的可以直接數(shù)數(shù)自己手里的offer，獵頭公司沒找你估計是你沒更新領(lǐng)英頁面。

[[212401]]

3. 回到開篇的問題，我先稍稍做個改動 — 哪些安全問題，深度學(xué)習(xí)還沒搞定?

直接的答案是 — 大部分安全問題都沒被深度學(xué)習(xí)搞定。 安全是一個很廣的領(lǐng)域，這里集中說說在安全領(lǐng)域里 深度學(xué)習(xí)目前最不擅長的。

我個人認(rèn)為深度學(xué)習(xí)目前最不擅長的是安全行業(yè)中的一個最核心的技術(shù) — 也就是黑客中的“黑”這個動作。

黑客中的這個“黑”字。 大眾很容易把“黑”想成黑產(chǎn)的黑，或者黑暗的黑。 黑客的黑其實(shí)是動詞，來自hacking這個動作。 什么是hacking? 我的定義是用非常規(guī)方法解決問題的動作。

具體到安全問題，安全中的hacking動作是通過發(fā)現(xiàn)程序的非設(shè)計功能，通過組合這些功能，重寫并形成新的程序，實(shí)現(xiàn)原來程序或系統(tǒng)不具有的功能。 舉個例子，對于普通用戶來講，微軟的公式編輯器是一個用來在Word文檔或PPT里插入公式的一個程序。 但我告訴你，我給你一個公式可以讓你的Word程序瞬間變成一個Spy 程序，打開你的麥克風(fēng)，并將錄下來的聲音上傳到網(wǎng)上，你相信嗎?

安全人員可以做到。 這個例子不是我編造的，這只是17年爆出的眾多漏洞之一。

包括微軟的公式編輯器，大多程序在完成“本職工作”之外，都有各種各樣的“特異功能”。 這些特異功能有的是程序員的錯誤，但更多是程序本身以及計算機(jī)系統(tǒng)實(shí)現(xiàn)的各種因素造成的。 用現(xiàn)實(shí)生活中的例子，如果把送餐小哥想象成一個程序的話，用戶這邊只看到訂餐和餐送到的情況。 但是要實(shí)現(xiàn)這個功能，送餐小哥一定要從把食品送過來。送餐小哥走了哪條線路，路上是否闖紅燈，用戶都看不到(可能也不關(guān)心)。 安全人員可以通過發(fā)現(xiàn)程序的非設(shè)計功能，并對這些功能進(jìn)行組合，從而實(shí)現(xiàn)一些目標(biāo)程序不相關(guān)的功能。例如，如果某個送餐小哥(程序)在某個特定地點(diǎn)一定會闖紅燈的話，就可能被攻擊者利用，通過特定的訂餐行為引導(dǎo)送餐小哥在特定時間特定地點(diǎn)造成交通問題。 程序化地利用目標(biāo)程序的非設(shè)計功能，這個過程就叫做黑(hacking)。

從技術(shù)的角度講，hacking這個動作具有以下幾個難度。第一是尋找程序和系統(tǒng)的各種非設(shè)計功能。 第二個是如何把非設(shè)計功能變成組件，并有機(jī)地把它們組合起來。 也就是用這些非設(shè)計功能來寫程序。 這些程序不容易寫，因?yàn)榻M件都不是專門設(shè)計好的。 如果正常寫程序可以看成小朋友用樂高(Lego)來搭積木的話，hacking是調(diào)皮的孩子用積木廢料來做小提琴。而且還是背著大人偷著干的。 這是因?yàn)榘踩芯抗ぷ髦?，攻擊方不僅僅要考慮如何用這些非設(shè)計功能進(jìn)行組合，同時還要對抗或繞過防護(hù)方的各種防御手段。

搞安全研究的大都熟悉 ROP，JOP，DOP等攻擊手段，他們的核心就是要把各種程序片段或者對數(shù)據(jù)的影響按照邏輯串在一起。不僅是要有辦法把這些非設(shè)計功能片段連起來，為了能做到更全面的攻擊功能，安全研究者們會研究如何用這些組件實(shí)現(xiàn)圖靈機(jī)。 一旦證明這些非設(shè)計組件可以形成一個完整的圖靈機(jī)(turing complete)的時候，安全研究人員也就證明了他們可以在上面寫任意程序。 研究攻擊和漏洞利用的過程也就是一個發(fā)現(xiàn)組件，并用它們搭建圖靈機(jī)的過程。

歸根結(jié)底，安全中的“黑”(hacking)需要的是一個創(chuàng)造機(jī)器并在上面編程的技術(shù)。所以，安全的核心需要的不僅僅是做機(jī)器學(xué)習(xí)(machine learning) 的人工智能，還需要能夠做機(jī)器創(chuàng)造 (machine creation) 的人工智能。

目前這種機(jī)器創(chuàng)造的手段是通過安全人員基于嚴(yán)密的邏輯進(jìn)行搭建。 這個過程需要設(shè)計者充分了解系統(tǒng)里可能存在的組件，并對組合的方法以及防御引入的障礙了如指掌。 解決問題的時候最需要的是精準(zhǔn)的邏輯控制，例如如何將一個指定指令的寄存器值改成一個特定的值。 這就是為什么像 Lokihardt 這樣的頂尖黑客可以一騎絕塵。因?yàn)樗麄儽任④浀墓こ處煾畐indows內(nèi)核，比蘋果程序員更懂safari瀏覽器。

我們目前還不知道如何用統(tǒng)計的方法來搭建復(fù)雜的邏輯系統(tǒng)。 當(dāng)下流行的深度學(xué)習(xí)是一種統(tǒng)計算法。 深度學(xué)習(xí)可以幫助很多解決基于統(tǒng)計的工作。 例如對于樹木樣子的描述。 什么是一棵樹?人的判斷是通過經(jīng)驗(yàn)而不是詳細(xì)邏輯定義的。 深度學(xué)習(xí)善于幫助人處理沒有準(zhǔn)確邏輯描述的事情，但目前深度學(xué)習(xí)的邏輯歸納和判斷能力還很弱。 帶有推理和強(qiáng)邏輯關(guān)系的深度學(xué)習(xí)也是目前重要的研究方向。

所以我斷言，安全的一個核心是機(jī)器創(chuàng)造問題，目前還沒法用深度學(xué)習(xí)來解決。

當(dāng)然在這個機(jī)器構(gòu)造過程中，是不是有些部分問題可以用深度學(xué)習(xí)來協(xié)助。答案當(dāng)然是肯定的。 但是深度學(xué)習(xí)對安全的核心還沒有什么革命性的推動，對頂尖安全人員的需求目前只會有增無減。 以上是我的個人觀點(diǎn)，歡迎拍磚。 也歡迎研究人員用實(shí)踐挑戰(zhàn)我的說法。

另外人工智能技術(shù)有很多技術(shù)分枝，包括符號邏輯推導(dǎo)，遺傳算法，機(jī)器學(xué)習(xí)，神經(jīng)元網(wǎng)絡(luò)。 上面集中說深度學(xué)習(xí)，但是其它人工智能方法在安全中的應(yīng)用也很廣并有效。年輕熱關(guān)注人工智能在安全中的應(yīng)用，不要認(rèn)為人工智能只是深度學(xué)習(xí)。

[[212402]]

4. 第二個問題來了 — 如果人工智能以后真的進(jìn)化到自動機(jī)器構(gòu)造，是不是安全研究人員就失業(yè)了?

這個問題學(xué)生沒有問，是做老師的習(xí)慣，多說幾句。 在安全行業(yè)做久了都知道，安全的本質(zhì)是對抗。 當(dāng)人工智能能力提升以后，安全對抗的對手能力也就提升了。其實(shí)目前在一些領(lǐng)域，黑產(chǎn)(不是hacking的黑)已經(jīng)開始使用深度學(xué)習(xí)技術(shù)。對抗基于統(tǒng)計數(shù)據(jù)的人工智能應(yīng)該是安全研究的一個新焦點(diǎn)。

未來當(dāng)人工智能達(dá)到能夠自我構(gòu)建機(jī)器并編程的階段后，做安全攻防的研究人員需要考慮的是如何對抗具有自動機(jī)器構(gòu)造能力的對手。攻防對抗是無止境的，只要我們?nèi)祟愡€在。