Thales的全球副總裁Ashvin Kamaraju深入探討了人們對AI風險的日益擔憂，隨著企業(yè)擁抱AI，他解釋了最大的風險，并概述了領(lǐng)導者保護其AI生態(tài)系統(tǒng)的戰(zhàn)略方法。

廣泛可用的GenAI平臺和工具的興起，促使企業(yè)的決策者評估該技術(shù)在其堆棧中的哪些地方可以被利用來增強運營。根據(jù)GitHub的調(diào)查，92%的開發(fā)人員已經(jīng)在使用AI編碼工具，這些平臺正在成為企業(yè)中一切的基礎(chǔ)——從流程到解決方案和思維方式。

對增加AI使用率的日益關(guān)注，引發(fā)了圍繞這項技術(shù)的潛在風險的討論。盡管如此，隨著它變得更加普遍，一個更令人擔憂的因素必須被考慮：對AI的風險。

AI面臨的四大風險以及領(lǐng)導者需要知道的事

• 竊取模型：威脅參與者可以通過復制模型來瞄準使用公共API的機器學習模型。通過手頭有準確的模型，網(wǎng)絡罪犯可以了解其能力的細節(jié)，測試限制，看看他們?nèi)绾纬晒Φ孛闇收嬲臇|西。隨著企業(yè)尋求整合AI，但沒有預算為代價高昂的開發(fā)提供資金，這種威脅載體正在增長。他們求助于更具成本效益的選項，如GPT-4，為付費客戶提供對其數(shù)據(jù)的洞察。
• 數(shù)據(jù)中毒：用于訓練深度學習模型的公共數(shù)據(jù)集有可能被篡改。如果壞人可以訪問這些集合，這些集合就可以被操縱，而對有毒數(shù)據(jù)進行訓練的模型會產(chǎn)生錯誤或惡意的預測和決定。雖然目前還沒有報道的例子，但如果成功完成，這種情況可能會造成巨大的損害。
• 快速注入：已經(jīng)證明其對AI有害的風險是快速注入。大型語言模型是AI工具的基礎(chǔ)，它們通過預測接下來會發(fā)生什么來工作——對于聊天機器人來說，這是用來驅(qū)動響應和發(fā)出指令的。黑客正在使用提示注入技術(shù)，通過輸入一系列提示或問題來欺騙應用程序，以覆蓋其現(xiàn)有指令，從而“欺騙”聊天機器人。
• 提取機密信息：人們越來越擔心這些AI平臺存儲的是什么。由于土地管理公司接受了數(shù)據(jù)方面的培訓，因此上傳到這些平臺上的信息可以存儲起來，如果查詢正確，則可以重新分發(fā)。隨著企業(yè)將大型語言模型添加到他們的技術(shù)堆棧中，最大的風險將是上傳的數(shù)據(jù)。如果團隊上傳個人身份信息或機密信息，企業(yè)將面臨公開共享這些數(shù)據(jù)的風險。

企業(yè)如何緩解AI面臨的風險

AI在企業(yè)中的廣泛使用是一個日益增長的趨勢，這意味著除非得到適當?shù)慕鉀Q，否則AI面臨的風險將持續(xù)存在。實施這些AI系統(tǒng)的企業(yè)應該負責任地這樣做，納入安全行業(yè)指導，并將這些系統(tǒng)納入威脅格局。

那么，企業(yè)如何才能撐起AI責任的盡頭呢?通過確定適當?shù)腁I業(yè)務用例來領(lǐng)先于威脅，這些使用案例包括：

• 利用AI作為一種靈活的防御：今天的威脅需要一種主動的安全方法，而不是被動的方法。通過將AI添加到他們的安全堆棧中，企業(yè)可以先發(fā)制人地應對威脅。使用基于AI的系統(tǒng)，IT和安全團隊可以訪問不斷收集的大量威脅情報資源，使他們能夠快速實施新策略，并更好地了解壞人不斷演變的策略。AI為團隊配備了緩解現(xiàn)代風險所需的洞察力和解決方案，這在網(wǎng)絡犯罪分子轉(zhuǎn)向AI以推進他們的方法時至關(guān)重要。
• 利用GenAI進行高級異常檢測：借助AI系統(tǒng)收集的威脅情報，IT和安全團隊可以進行實時異常檢測。誤報可能會使內(nèi)部團隊難以檢測異常，因為他們篩選結(jié)果以確保系統(tǒng)識別真正的異常。與其對數(shù)據(jù)進行分類，還可以對生成模型進行訓練，以便更好地理解“正常數(shù)據(jù)”模式，從而幫助減少誤報。GenAI可以通過從數(shù)據(jù)集中提取信息來幫助警報尖峰、機器人和其他可能針對系統(tǒng)的攻擊。準確高效地支持團隊挫敗攻擊。
• 減少工作量：以前，安全團隊需要某些編程語言等領(lǐng)域的專家來幫助在攻擊過程中為決策過程提供信息。AI消除了對每種語言專家的需求。如果企業(yè)因惡意腳本試圖攻擊其系統(tǒng)而面臨攻擊，IT和安全團隊可以求助于GenAI來輸入腳本，并收到有關(guān)修補任何現(xiàn)有漏洞以防御攻擊的即時指示，這不僅允許快速補救，而且還減輕了內(nèi)部團隊的負擔。

AI風險責任不僅僅是企業(yè)的責任

在所有技術(shù)中，該行業(yè)在塑造未來使用方面發(fā)揮著關(guān)鍵作用。幾乎在一夜之間，AI變得迅速普及，其進步也同樣迅速。美國有開發(fā)更負責任的AI的需求，但缺乏明確的法規(guī)，對那些不太熟悉這項技術(shù)的人來說，幾乎沒有什么清晰的東西。

隨著AI繼續(xù)滲透到工作場所，企業(yè)面臨著快速、安全地部署基于AI的系統(tǒng)以滿足新需求，同時避免將自己暴露在不斷擴大的威脅矢量中的巨大負擔，這一巨大的重量并不是企業(yè)本身可以承受的，因此制定法規(guī)、提供指導和框架對工作場所AI的未來至關(guān)重要。

拜登政府發(fā)布的AI行政命令有助于為AI的安全和安保建立新的標準。白宮最近的努力也推動了領(lǐng)先的AI公司承諾推動安全、可靠的AI發(fā)展，這將進一步提高實施這些公司解決方案的企業(yè)對AI的使用。盡管取得了進展，但監(jiān)管需要時間才能充分發(fā)揮作用，AI的進步也不會因為等待政策實施而放緩。

幸運的是，現(xiàn)有的框架、指導和資源可供企業(yè)在等待更嚴格的法規(guī)時確保適當?shù)臉I(yè)務使用和AI的實現(xiàn)。例如，美國國家標準與技術(shù)研究院(NIST)推出了NIST AI風險管理框架，這個框架旨在更好地管理與AI相關(guān)的個人、企業(yè)和社會的風險。

在過去的一年里，我們看到了AI發(fā)展的如此之快。隨著我們等待對提供更多定義流程的技術(shù)的進一步監(jiān)管，企業(yè)應該求助于像NIST這樣的現(xiàn)有框架來最好地裝備自己。

協(xié)作將是保護AI的關(guān)鍵

為了成功地使用AI，很明顯，企業(yè)需要轉(zhuǎn)變心態(tài)，專注于這項技術(shù)的風險。通過將資源放在保護AI的背后，并呼吁商業(yè)領(lǐng)袖、監(jiān)管機構(gòu)和行業(yè)專家的合作，可以清楚地看到一條從AI創(chuàng)新中受益的更安全的未來。