近年來，人工智能迅猛發(fā)展，與家居、金融、交通、醫(yī)療等各個領(lǐng)域深度融合，讓人們的生活更為便利。但與此同時，基于人工智能的系統(tǒng)一旦存在風(fēng)險也將帶來更為嚴(yán)重的后果。如何確保人工智能在不同的應(yīng)用場景下不會被輕易控制、影響或欺騙，也成為從業(yè)者的重要研究課題。

9月25日，騰訊正式發(fā)布業(yè)內(nèi)首個AI安全攻擊矩陣。這是一份具有高實(shí)用性的AI安全技術(shù)指導(dǎo)框架，首次全面梳理了學(xué)術(shù)及工業(yè)界最前沿的AI安全研究，從攻擊者的視角系統(tǒng)列舉了AI技術(shù)研發(fā)部署各個環(huán)節(jié)中的攻擊過程與技術(shù)實(shí)現(xiàn)手段，幫助AI從業(yè)者快速了解全生命周期下AI系統(tǒng)的風(fēng)險點(diǎn)與對應(yīng)緩解方法，為AI系統(tǒng)的安全部署和應(yīng)用落地提供重要的技術(shù)參考。

AI安全的威脅風(fēng)險矩陣

據(jù)了解，該矩陣由騰訊兩大實(shí)驗(yàn)室騰訊AI lab和朱雀實(shí)驗(yàn)室聯(lián)合編纂，并借鑒了網(wǎng)絡(luò)攻防領(lǐng)域中成熟度高、實(shí)戰(zhàn)意義強(qiáng)的開源安全研究框架ATT&CK，全面分析了攻擊者視角下的戰(zhàn)術(shù)、技術(shù)和流程，能夠幫助防御者更精準(zhǔn)地掌握安全響應(yīng)方法與防御措施。相比從單一角度研究算法的安全問題，該矩陣具有更高的實(shí)用價值和參考意義。

該AI安全的威脅風(fēng)險矩陣強(qiáng)調(diào)真實(shí)場景，并按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術(shù)分類。據(jù)騰訊AI Lab介紹，矩陣編撰的核心難點(diǎn)在于如何選取和梳理AI系統(tǒng)安全問題的分析角度。作為一種與其他軟硬件結(jié)合運(yùn)作的應(yīng)用程序，AI系統(tǒng)安全的分析切入角度與傳統(tǒng)互聯(lián)網(wǎng)產(chǎn)品并不完全一致。經(jīng)過充分調(diào)研，團(tuán)隊(duì)最終選擇從AI研發(fā)部署生命周期的角度切入，總結(jié)歸納出AI系統(tǒng)在不同階段所面臨的安全風(fēng)險，從全局視角來審視AI的自身安全。

在這種實(shí)用思想的指導(dǎo)下，該矩陣能夠像字典一樣便捷使用。研究人員和開發(fā)人員根據(jù)AI部署運(yùn)營的基本情況，就可對照風(fēng)險矩陣排查可能存在的安全問題，并根據(jù)推薦的防御建議，降低已知的安全風(fēng)險。

除了聚焦機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、語音識別及自然語言處理等四大基礎(chǔ)研究領(lǐng)域外，騰訊AI Lab也在持續(xù)關(guān)注AI領(lǐng)域的安全性研究，助力可信的AI系統(tǒng)設(shè)計(jì)與部署。騰訊朱雀實(shí)驗(yàn)室則專注于實(shí)戰(zhàn)攻擊技術(shù)研究和AI安全技術(shù)研究，以攻促防，守護(hù)騰訊業(yè)務(wù)及用戶安全。此前朱雀實(shí)驗(yàn)室就曾模擬實(shí)戰(zhàn)中的黑客攻擊路徑，直接控制AI模型的神經(jīng)元，為模型“植入后門”，在幾乎無感的情況下，實(shí)現(xiàn)完整的攻擊驗(yàn)證，這也是業(yè)內(nèi)首個利用AI模型文件直接產(chǎn)生后門效果的攻擊研究。

騰訊云副總裁、騰訊安全平臺部負(fù)責(zé)人楊勇表示，隨著行業(yè)對AI應(yīng)用的不斷深入，在各個層面都會出現(xiàn)更具有實(shí)際攻擊意義的方法和手段。騰訊將持續(xù)研究AI安全領(lǐng)域，并不定期更新風(fēng)險矩陣，保持和業(yè)界最新成果的同步。