Thales的全球副總裁Ashvin Kamaraju深入探討了人們對AI風(fēng)險的日益擔(dān)憂，隨著企業(yè)擁抱AI，他解釋了最大的風(fēng)險，并概述了領(lǐng)導(dǎo)者保護(hù)其AI生態(tài)系統(tǒng)的戰(zhàn)略方法。

廣泛可用的GenAI平臺和工具的興起，促使企業(yè)的決策者評估該技術(shù)在其堆棧中的哪些地方可以被利用來增強(qiáng)運營。根據(jù)GitHub的調(diào)查，92%的開發(fā)人員已經(jīng)在使用AI編碼工具，這些平臺正在成為企業(yè)中一切的基礎(chǔ)——從流程到解決方案和思維方式。

對增加AI使用率的日益關(guān)注，引發(fā)了圍繞這項技術(shù)的潛在風(fēng)險的討論。盡管如此，隨著它變得更加普遍，一個更令人擔(dān)憂的因素必須被考慮：對AI的風(fēng)險。

AI面臨的四大風(fēng)險以及領(lǐng)導(dǎo)者需要知道的事

• 竊取模型：威脅參與者可以通過復(fù)制模型來瞄準(zhǔn)使用公共API的機(jī)器學(xué)習(xí)模型。通過手頭有準(zhǔn)確的模型，網(wǎng)絡(luò)罪犯可以了解其能力的細(xì)節(jié)，測試限制，看看他們?nèi)绾纬晒Φ孛闇?zhǔn)真正的東西。隨著企業(yè)尋求整合AI，但沒有預(yù)算為代價高昂的開發(fā)提供資金，這種威脅載體正在增長。他們求助于更具成本效益的選項，如GPT-4，為付費客戶提供對其數(shù)據(jù)的洞察。
• 數(shù)據(jù)中毒：用于訓(xùn)練深度學(xué)習(xí)模型的公共數(shù)據(jù)集有可能被篡改。如果壞人可以訪問這些集合，這些集合就可以被操縱，而對有毒數(shù)據(jù)進(jìn)行訓(xùn)練的模型會產(chǎn)生錯誤或惡意的預(yù)測和決定。雖然目前還沒有報道的例子，但如果成功完成，這種情況可能會造成巨大的損害。
• 快速注入：已經(jīng)證明其對AI有害的風(fēng)險是快速注入。大型語言模型是AI工具的基礎(chǔ)，它們通過預(yù)測接下來會發(fā)生什么來工作——對于聊天機(jī)器人來說，這是用來驅(qū)動響應(yīng)和發(fā)出指令的。黑客正在使用提示注入技術(shù)，通過輸入一系列提示或問題來欺騙應(yīng)用程序，以覆蓋其現(xiàn)有指令，從而“欺騙”聊天機(jī)器人。
• 提取機(jī)密信息：人們越來越擔(dān)心這些AI平臺存儲的是什么。由于土地管理公司接受了數(shù)據(jù)方面的培訓(xùn)，因此上傳到這些平臺上的信息可以存儲起來，如果查詢正確，則可以重新分發(fā)。隨著企業(yè)將大型語言模型添加到他們的技術(shù)堆棧中，最大的風(fēng)險將是上傳的數(shù)據(jù)。如果團(tuán)隊上傳個人身份信息或機(jī)密信息，企業(yè)將面臨公開共享這些數(shù)據(jù)的風(fēng)險。

企業(yè)如何緩解AI面臨的風(fēng)險

AI在企業(yè)中的廣泛使用是一個日益增長的趨勢，這意味著除非得到適當(dāng)?shù)慕鉀Q，否則AI面臨的風(fēng)險將持續(xù)存在。實施這些AI系統(tǒng)的企業(yè)應(yīng)該負(fù)責(zé)任地這樣做，納入安全行業(yè)指導(dǎo)，并將這些系統(tǒng)納入威脅格局。

那么，企業(yè)如何才能撐起AI責(zé)任的盡頭呢?通過確定適當(dāng)?shù)腁I業(yè)務(wù)用例來領(lǐng)先于威脅，這些使用案例包括：

• 利用AI作為一種靈活的防御：今天的威脅需要一種主動的安全方法，而不是被動的方法。通過將AI添加到他們的安全堆棧中，企業(yè)可以先發(fā)制人地應(yīng)對威脅。使用基于AI的系統(tǒng)，IT和安全團(tuán)隊可以訪問不斷收集的大量威脅情報資源，使他們能夠快速實施新策略，并更好地了解壞人不斷演變的策略。AI為團(tuán)隊配備了緩解現(xiàn)代風(fēng)險所需的洞察力和解決方案，這在網(wǎng)絡(luò)犯罪分子轉(zhuǎn)向AI以推進(jìn)他們的方法時至關(guān)重要。
• 利用GenAI進(jìn)行高級異常檢測：借助AI系統(tǒng)收集的威脅情報，IT和安全團(tuán)隊可以進(jìn)行實時異常檢測。誤報可能會使內(nèi)部團(tuán)隊難以檢測異常，因為他們篩選結(jié)果以確保系統(tǒng)識別真正的異常。與其對數(shù)據(jù)進(jìn)行分類，還可以對生成模型進(jìn)行訓(xùn)練，以便更好地理解“正常數(shù)據(jù)”模式，從而幫助減少誤報。GenAI可以通過從數(shù)據(jù)集中提取信息來幫助警報尖峰、機(jī)器人和其他可能針對系統(tǒng)的攻擊。準(zhǔn)確高效地支持團(tuán)隊挫敗攻擊。
• 減少工作量：以前，安全團(tuán)隊需要某些編程語言等領(lǐng)域的專家來幫助在攻擊過程中為決策過程提供信息。AI消除了對每種語言專家的需求。如果企業(yè)因惡意腳本試圖攻擊其系統(tǒng)而面臨攻擊，IT和安全團(tuán)隊可以求助于GenAI來輸入腳本，并收到有關(guān)修補任何現(xiàn)有漏洞以防御攻擊的即時指示，這不僅允許快速補救，而且還減輕了內(nèi)部團(tuán)隊的負(fù)擔(dān)。

AI風(fēng)險責(zé)任不僅僅是企業(yè)的責(zé)任

在所有技術(shù)中，該行業(yè)在塑造未來使用方面發(fā)揮著關(guān)鍵作用。幾乎在一夜之間，AI變得迅速普及，其進(jìn)步也同樣迅速。美國有開發(fā)更負(fù)責(zé)任的AI的需求，但缺乏明確的法規(guī)，對那些不太熟悉這項技術(shù)的人來說，幾乎沒有什么清晰的東西。

隨著AI繼續(xù)滲透到工作場所，企業(yè)面臨著快速、安全地部署基于AI的系統(tǒng)以滿足新需求，同時避免將自己暴露在不斷擴(kuò)大的威脅矢量中的巨大負(fù)擔(dān)，這一巨大的重量并不是企業(yè)本身可以承受的，因此制定法規(guī)、提供指導(dǎo)和框架對工作場所AI的未來至關(guān)重要。

拜登政府發(fā)布的AI行政命令有助于為AI的安全和安保建立新的標(biāo)準(zhǔn)。白宮最近的努力也推動了領(lǐng)先的AI公司承諾推動安全、可靠的AI發(fā)展，這將進(jìn)一步提高實施這些公司解決方案的企業(yè)對AI的使用。盡管取得了進(jìn)展，但監(jiān)管需要時間才能充分發(fā)揮作用，AI的進(jìn)步也不會因為等待政策實施而放緩。

幸運的是，現(xiàn)有的框架、指導(dǎo)和資源可供企業(yè)在等待更嚴(yán)格的法規(guī)時確保適當(dāng)?shù)臉I(yè)務(wù)使用和AI的實現(xiàn)。例如，美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)推出了NIST AI風(fēng)險管理框架，這個框架旨在更好地管理與AI相關(guān)的個人、企業(yè)和社會的風(fēng)險。

在過去的一年里，我們看到了AI發(fā)展的如此之快。隨著我們等待對提供更多定義流程的技術(shù)的進(jìn)一步監(jiān)管，企業(yè)應(yīng)該求助于像NIST這樣的現(xiàn)有框架來最好地裝備自己。

協(xié)作將是保護(hù)AI的關(guān)鍵

為了成功地使用AI，很明顯，企業(yè)需要轉(zhuǎn)變心態(tài)，專注于這項技術(shù)的風(fēng)險。通過將資源放在保護(hù)AI的背后，并呼吁商業(yè)領(lǐng)袖、監(jiān)管機(jī)構(gòu)和行業(yè)專家的合作，可以清楚地看到一條從AI創(chuàng)新中受益的更安全的未來。