2018年8月15日，由梆梆安全研究院編撰的《認知安全白皮書》(以下簡稱“白皮書”)正式對外發(fā)布。梆梆安全是最早認識到人工智能安全風險并展開認知安全研究的公司之一，白皮書中首次明確提出認知安全的定義：“認知安全”是研究人工智能系統(tǒng)或人工智能系統(tǒng)控制的設備進行有意識的智能行為、智力活動以及無意識被動行為時，獲取并應用信息過程中的安全風險、安全理論、安全方法、安全技術及安全應用組件和系統(tǒng)。

[[240479]]

　　智能源于感知

　　科學家們提出人工智能的初衷，是源于希望輔助人類工作、學習、生活。人類產(chǎn)生智慧的過程是通過不斷感知外界并不斷學習進化，人工智能產(chǎn)生的機理亦然，通過后天的感知、學習、訓練，逐步建立起一套系統(tǒng)的方法來獲得“知識”，建立“自我認知”。

　　1956年，科學家們首次提出“人工智能”概念，點燃了人們對于人工智能的想象和期望。時至今日，歷經(jīng)六十余載的發(fā)展，人工智能已經(jīng)成為當前最具顛覆性的技術，人工智能技術的進步能夠解決當前的很多問題，比如疾病診療、智能安防、智能家電、個人助理、自動駕駛、車牌識別、智能教育、智能醫(yī)療、智能金融、智能電商零售……大概沒有人會否認，我們正處于人類歷史上科技變革最為迅猛的時期，無論是在科幻電影里還是在現(xiàn)實世界中，人類險被自己創(chuàng)造的文明戰(zhàn)勝都不再是一個新鮮題材，而代表人工智能尖端水平的AlphaGo戰(zhàn)勝李世石，再次向人們宣告，科幻不再遙不可及。

　　白皮書回顧分析了人工智能的發(fā)展歷程、發(fā)展態(tài)勢，從國內(nèi)外法律法規(guī)環(huán)境分析了當前人工智能發(fā)展的要求及趨勢。從智能家居、智能交通、智能教育與醫(yī)療、智能金融與電商零售等諸多人工智能的應用領域剖析了人工智能首要解決的問題，例如可以提升疾病診斷效率、解放勞動力等……不可否認，我們身處人工智能技術革新的浪潮中，但是無論政策、環(huán)境、法律倫理都給人工智能的發(fā)展提出了諸多挑戰(zhàn)，如何確保人工智能安全、可靠、可控發(fā)展成為當前發(fā)展人工智能亟需解決的問題。

　　威脅源于未知

　　如果人工智能的發(fā)展不受人類控制，它可能成為人類文明的終結者。

　　——霍金

　　霍金曾經(jīng)多次在公開場合三令五申人工智能可能給人類文明帶來的威脅，他曾在演講中提及“強大的人工智能的崛起，要么是人類歷史上最好的事，要么是最糟的。雖然是好是壞我們?nèi)圆淮_定。但應竭盡所能，確保其未來發(fā)展對我們有利。”我們正在見證人工智能的發(fā)展，享受人工智能帶來的科技成果時，也同時見證人工智能向人類發(fā)起的挑戰(zhàn)：

　　1978年日本廣島切割機器人異常;

　　1989年機器人棋手向金屬棋盤釋放強電流;

　　2015年德國大眾汽車組裝機器人“殺人”事件;

　　2016年微軟人工智能聊天機器人Tay一天被“教壞”;

　　2017年Facebook人工智能聊天機器人Bob和Alice“自創(chuàng)語言”……

　　從這些事件中不難發(fā)現(xiàn)，機器人并不能完全按照人類預期的規(guī)劃發(fā)展。白皮書通過分析人工智能在網(wǎng)絡攻擊和安全防護中的應用，指出當前人工智能在高速增長時面臨的問題：人工智能算法黑箱，模型缺乏可解釋性;在網(wǎng)絡安全領域使用分類學習算法時需要大量準確標記的數(shù)據(jù)，但是實際情況難以滿足;模型與訓練環(huán)境強相關，導致人工智能安全系統(tǒng)部署之初通常難以達到理想效果;海量數(shù)據(jù)關聯(lián)導致模型極易被攻擊者污染;攻防手段持續(xù)更新也給人工智能的健康發(fā)展提出了更高的要求。

　　從人工智能本質(zhì)看未來發(fā)展

　　深度學習驅(qū)動了人工智能的大爆發(fā)，機器學習用算法真正解析數(shù)據(jù)，不斷學習，進而對實際發(fā)生的事情做出判斷和預測。縱觀近年來人工智能網(wǎng)絡攻擊，人工智能的風險主要來自于兩個方面：1、針對人工智能算法特點的攻擊;2、人工智能算法在軟件實現(xiàn)過程面臨的風險。

　　提及人工智能網(wǎng)絡攻擊，就不得不提“對抗樣本”。在人為設計的圖像、文本、語音中加入微小的擾動，這個過程用戶無法感知而機器卻能接受并作出錯誤操作，其結果證明這類行為可以很容易騙過人工智能。機器在這些樣本上會產(chǎn)生戲劇性的錯誤也是當前人工智能面臨的主要風險與威脅，例如，微軟上線的聊天機器人Tay在“別有用心”的用戶“訓練”下，開始發(fā)表帶有性別歧視和種族歧視的言論，這一事件正是由于所輸入的樣本數(shù)據(jù)被污染后，導致人工智能系統(tǒng)被訓練偏離正常運算目標，最終產(chǎn)生失焦的運算行為。事實上，當前針對人工智能的攻擊有很多都是通過數(shù)據(jù)污染和模型竊取實現(xiàn)的。

　　白皮書從輸入感知安全風險與威脅、數(shù)據(jù)隱私泄露風險、信息獲取安全風險與威脅、知識使用安全風險與威脅等不同維度剖析了人工智能面臨的風險與隱患。

　　安全之本

　　網(wǎng)絡安全的本質(zhì)是攻防對抗，人工智能的本質(zhì)是程序，程序是未來智能世界的核心，沒有程序就沒有智能。我們一直強調(diào)一個觀點，人工智能的產(chǎn)生依賴于程序，依賴于軟件，依賴于數(shù)據(jù)。在人工智能發(fā)展的過程中，數(shù)據(jù)是非常重要和關鍵的基礎。白皮書從人工智能認知安全的本質(zhì)出發(fā)，提出數(shù)據(jù)-信息-知識的3層立體認知安全防護方法。

　　在輸入感知安全防護上，白皮書提出采取對抗樣本安全防護和樣本預處理攻擊防護等認知安全防護策略;在數(shù)據(jù)隱私安全防護上，白皮書提出針對模型訓練，可以采用匿名化、差分隱私保護等認知安全技術;在信息獲取安全防護上，一方面通過自適應的PPDR模型，快速檢測攻擊并響應，另一方面采用預測向量為前k個類別和正則化等認知安全技術保證訓練出的模型、知識的安全與泛化能力;在更高維度的知識使用安全防護上，通過權限控制、集成學習、置信度舍入保證人工智能訓練出模型、知識使用過程中的安全。

　　不忘初心 方得始終

　　千里之堤毀于蟻穴，我們必須正視人工智能給我們帶來的風險與威脅，不斷修正。梆梆安全將其研究與探索成果與大家分享也是希望能夠集眾家之所長，共同把握未來的技術發(fā)展方向，讓人工智能回歸其初衷，真正服務于人類。

白皮書下載地址：

https://www.bangcle.com/upload/file/20180814/15342423548376.pdf