人工智能是一個不斷發(fā)展的行業(yè)，其動力來自大型科技公司、新創(chuàng)業(yè)公司和大學研究團隊。雖然人工智能技術正在飛速發(fā)展，但圍繞機器學習安全的規(guī)定和故障保護卻是完全不同的情況。

無法保護機器學習模型免受數(shù)據(jù)中毒等網(wǎng)絡攻擊可能會造成極大的損失。聊天機器人漏洞甚至可能導致私人用戶數(shù)據(jù)被盜。以下將探討機器學習網(wǎng)絡安全的重要性。此外，我們將說明聊天機器人安全商Scanta公司如何通過其虛擬助手保護聊天機器人。

[[345307]]

為什么機器學習安全性很重要?

保護機器學習模型免受網(wǎng)絡攻擊類似于確保車輛通過安全檢查。僅僅因為汽車可以行駛并不意味著在公共道路上行駛是安全的。無法保護機器學習模型可能導致數(shù)據(jù)泄露或更糟的情況。

一個很好的例子是McAfee公司技術人員如何入侵特斯拉的一種自動駕駛汽車。特斯拉早期的路標檢測系統(tǒng)模型使它容易受到網(wǎng)絡攻擊。技術人員只需在特斯拉汽車上加上幾英寸的黑色膠帶，就能讓它誤讀時速35英里的標志。這導致車輛將其解釋為85英里/小時的標志。其結(jié)果，每當汽車加速超過35英里/小時就會踩下剎車。

自動駕駛汽車中的漏洞可能導致致命事故。對于聊天機器人和虛擬助手來說，缺乏機器學習安全性可能會導致大量私人客戶數(shù)據(jù)泄露、網(wǎng)絡釣魚攻擊以及對企業(yè)的代價昂貴訴訟。而這正是達美航空發(fā)生的事情。

在2019年，達美航空公司起訴其聊天機器人開發(fā)人員，原因是該公司在2017年發(fā)生了乘客數(shù)據(jù)泄露事件。黑客獲得了對達美航空公司聊天機器人系統(tǒng)的訪問權限，并修改了源代碼。這使他們可以抓取用戶輸入的數(shù)據(jù)。這次事故對達美航空公司造成了巨大的損失，導致數(shù)百萬美元用于調(diào)查漏洞并保護受影響的客戶。

聊天機器人中的機器學習安全漏洞

聊天機器人特別容易受到機器學習攻擊，因為它們之間經(jīng)常發(fā)生用戶交互，而這些交互通常是完全不受監(jiān)督的。Scanta公司對聊天機器人面臨的最常見的網(wǎng)絡攻擊進行了闡述。

Scanta公司首席技術官Anil Kaushik表示，他們看到的最常見的攻擊之一是通過對抗性輸入進行的數(shù)據(jù)中毒攻擊。

什么是數(shù)據(jù)中毒?

數(shù)據(jù)中毒是黑客對機器學習模型的訓練數(shù)據(jù)進行污染的一種機器學習攻擊。他們通過注入對抗性輸入來實現(xiàn)這一點，這些輸入是故意改變數(shù)據(jù)樣本的，目的是誘使系統(tǒng)產(chǎn)生錯誤的輸出。

像客戶服務聊天機器人這樣經(jīng)過用戶輸入數(shù)據(jù)進行持續(xù)訓練的系統(tǒng)尤其容易受到此類攻擊。大多數(shù)現(xiàn)代的聊天機器人都可以自動操作并在沒有人工干預的情況下回答客戶的詢問。通常情況下，除非查詢升級為人員，否則永遠不會監(jiān)視聊天機器人與用戶之間的對話。缺乏監(jiān)督使得聊天機器人成為黑客利用的主要目標。

為了幫助企業(yè)保護其聊天機器人和虛擬助手，Scanta公司不斷改進其機器學習安全系統(tǒng)VA Shield。

Scanta公司由Chaitanya Hiremath于2016年創(chuàng)立，是一家科技公司，最初是增強現(xiàn)實游戲和社交媒體應用程序的開發(fā)商。他們在增強現(xiàn)實(AR)行業(yè)的成功甚至在探索頻道上嶄露頭角。但是，Scanta最近轉(zhuǎn)向為聊天機器人和虛擬助手提供機器學習安全服務。

Scanta如何保護聊天機器人和虛擬助手

Scanta公司的VA Shield是一種機器學習安全系統(tǒng)，可以在模型、數(shù)據(jù)集和對話級別保護聊天機器人。Scanta公司首席技術官AnilKaushik說，“VA Shield使用機器學習防御機器學習攻擊。我們?yōu)槊總€用戶進行行為分析，并標記任何異常行為。行為分析是針對最終用戶以及聊天機器人的。分析所有輸入、輸出和輸入輸出組合實體，以檢測任何惡意活動。”

在對話級別，Scanta公司評估聊天機器人的輸出，以阻止惡意攻擊并捕獲業(yè)務見解。他說，“場景分析是一個簡單的概念，其中聊天機器人的響應是在場景中根據(jù)請求進行查看的，”為了進行這些分析，我們使用歷史數(shù)據(jù)。例如，查看了用戶的歷史請求特征和來自聊天機器人的響應，以及聊天機器人的響應特征。”

為什么常規(guī)的IT團隊無法處理這些攻擊?

Scanta公司首席執(zhí)行官Chaitanya Hiremath表示，擁有自己IT團隊的公司會外包機器學習安全服務。這些IT團隊難道不能自己納入機器學習安全協(xié)議嗎?Hiremath說，“我們已經(jīng)與許多公司進行了交談，得知這些機器學習威脅是大多數(shù)人不知道的事情，我感到非常驚訝，現(xiàn)實是許多人甚至不知道這是他們必須防止的事情。大多數(shù)IT團隊和安全解決方案都提供網(wǎng)絡安全和Web應用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們在討論和介紹的內(nèi)容處于不同的水平。這遠遠超出了消除訓練數(shù)據(jù)的偏見。”

在以上提到的達美航空示例中，網(wǎng)絡攻擊者入侵了聊天機器人并修改了源代碼，并且能夠訪問私人客戶數(shù)據(jù)。Hiremath說，“這是因為沒有人監(jiān)視正在進入聊天機器人的內(nèi)容和正在發(fā)生的內(nèi)容，這是當今機器學習技術構建方式的結(jié)果。但是，必須有一種機制來解釋是否有惡意。我們將此系統(tǒng)稱為零信任框架。必須確保所有方面都受到保護。這與保護數(shù)據(jù)庫或網(wǎng)絡一樣重要。”

人們的日常生活和個人數(shù)據(jù)越來越與計算機系統(tǒng)交織在一起。隨著現(xiàn)代社會數(shù)字化的日益發(fā)展，提高數(shù)據(jù)安全性成為當務之急。特別是像GDPR這樣的組織制定的數(shù)據(jù)法律，企業(yè)比以往任何時候都更重要地保護其私有數(shù)據(jù)和客戶數(shù)據(jù)。

Scanta公司和機器學習安全性的未來

Hiremath說，“我們希望成為機器學習安全性的領導者，并幫助各個行業(yè)的企業(yè)保護他們創(chuàng)建的機器學習系統(tǒng)。我們不僅僅將其視為應用程序的插件或附件。在三到五年內(nèi)，我們看到這成為其自己的行業(yè)，我們希望成為該領域的市場領導者之一。機器學習安全性有大量用例?，F(xiàn)在，我們希望專注于虛擬助手和聊天機器人。我們不僅希望成為聊天機器人安全性的領導者，而且還希望成為其他機器學習系統(tǒng)的領導者。我們目前正在進行研發(fā)，以找出我們可以幫助他們保護的其他領域。”

機器學習模型的更高安全性將使數(shù)據(jù)科學界和人工智能技術的日常用戶受益。在2020年上半年，由于存在固有的種族偏見和執(zhí)法部門可能濫用的證據(jù)，IBM公司抵制面部識別技術。重要的是，像IBM、達美公司和特斯拉公司這樣的大型企業(yè)應退后一步，將安全性和社會影響放在開發(fā)之前。

希望有更多類似Scanta公司出現(xiàn)在機器學習領域，為開發(fā)機器學習技術的公司和使用它們的人們創(chuàng)建更安全的人工智能系統(tǒng)。