生成式人工智能在 2022 年底席卷全球，讓人工智能領(lǐng)域在 2023 年成為眾人矚目的焦點。

IBM 表示，盡管人工智能的采用率猛增，到 2023 年，35% 的企業(yè)將使用人工智能，42% 的企業(yè)將在未來探索人工智能的實施，但新的擔(dān)憂也出現(xiàn)了。

以下是 2023 年十大人工智能安全新聞報道。

1. ChatGPT 的隱私問題

在 2022 年 11 月推出幾個月后，OpenAI 的 ChatGPT 最常見的企業(yè)用途之一是起草隱私聲明。具有諷刺意味的是，人工智能驅(qū)動的聊天機(jī)器人本身一直受到數(shù)據(jù)保護(hù)專家的審查。

用于對大語言模型 (LLM) ChatGPT 進(jìn)行數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)抓取方法是基于圍繞個人數(shù)據(jù)收集或處理不準(zhǔn)確數(shù)據(jù)提出的許多問題。人工智能和隱私專家討論，討論聊天機(jī)器人是否符合現(xiàn)有立法，包括 GDPR。還探討了其制造商 OpenAI 是否采取了足夠的預(yù)防措施來防止其中一些風(fēng)險。

2. 用于惡意目的的 GPT 模型

2023 年初出現(xiàn)了將 ChatGPT 用于惡意目的的證據(jù)，例如創(chuàng)建多態(tài)惡意軟件或起草網(wǎng)絡(luò)釣魚電子郵件。這導(dǎo)致 OpenAI 和谷歌（推出了 ChatGPT 競爭對手 Bard）實施防護(hù)措施以防止此類濫用。然而，這些似乎還不夠，因為 SlashNext 2023 年網(wǎng)絡(luò)釣魚狀況報告在 10 月透露，ChatGPT 的使用使網(wǎng)絡(luò)釣魚數(shù)量在 2023 年第四季度比 2022 年第四季度激增 1265%。

雖然一些黑帽黑客一直在利用基于 LLM 的合法工具，但其他黑客已經(jīng)開始制作自己的惡意生成人工智能工具。其中大多數(shù)都被賦予了威脅性的名稱，例如WormGPT、FraudGPT、 WolfGPT 、 XXXGPT 、 PoisonGPT 或 DarkBard 。

然而，許多專家稱，這種趨勢可能會消失。

Vectra AI 歐洲、中東和非洲地區(qū)首席技術(shù)官 Christian Borst 持這種觀點。

他說道：“LLM 的廣泛使用將會逐漸消失，但 Deepfake 將會猛增。法學(xué)碩士通常很難使用，因為它們無法理解背景或提供可靠的輸出，因此法學(xué)碩士的更廣泛實際使用受到限制。”

然而，博斯特認(rèn)為，企業(yè)明年可能會減少對法學(xué)碩士的使用，因為他們等待這些工具變得更加實用和用戶友好。

“威脅行為者在使用法學(xué)碩士時將面臨同樣的問題，因此我們可能不會看到像人工智能生成惡意代碼這樣的復(fù)雜活動。但我們可以預(yù)期網(wǎng)絡(luò)犯罪分子會利用生成式人工智能來創(chuàng)建更真實、更復(fù)雜的深度偽造品。這將使他們更有機(jī)會通過更有說服力的音頻或視覺網(wǎng)絡(luò)釣魚誘餌，誘騙用戶放棄敏感數(shù)據(jù)或點擊惡意內(nèi)容?！?/span>

3. 當(dāng)法學(xué)碩士的熱潮平息時

11 月份，針對惡意活動的 LLM 采用也受到了挑戰(zhàn)，當(dāng)時 Sophos X-Ops 報告顯示，網(wǎng)絡(luò)犯罪分子迄今為止不愿使用生成式 AI發(fā)起攻擊。

該公司檢查了四個著名的暗網(wǎng)論壇中與法學(xué)碩士相關(guān)的討論，發(fā)現(xiàn)威脅行為者對使用這些工具幾乎沒有興趣，甚至對它們帶來的更廣泛的風(fēng)險表示擔(dān)憂。在研究中的兩個論壇中，只發(fā)現(xiàn)了 100 個關(guān)于人工智能的帖子。相比之下，同期有 1000 個與加密貨幣相關(guān)的帖子。

研究人員透露，大多數(shù)與 LLM 相關(guān)的帖子都與受感染的 ChatGPT 帳戶出售以及規(guī)避 LLM 內(nèi)置保護(hù)措施（稱為“越獄”）的方法有關(guān)。

此外，他們還觀察到 10 個 ChatGPT 衍生品，其創(chuàng)建者聲稱這些衍生品可用于發(fā)起網(wǎng)絡(luò)攻擊和開發(fā)惡意軟件。然而，Sophos X-Ops 表示，網(wǎng)絡(luò)犯罪分子對這些衍生品反應(yīng)不一，許多人擔(dān)心 ChatGPT 模仿者的創(chuàng)建者試圖欺騙他們。

研究人員補(bǔ)充說，許多使用法學(xué)碩士創(chuàng)建惡意軟件或攻擊工具的嘗試都是“初級的”，并且經(jīng)常遭到其他用戶的懷疑。例如，一名威脅行為者在展示 ChatGPT 的潛力時無意中泄露了有關(guān)其真實身份的信息。許多用戶對 LLM 生成的代碼存在針對網(wǎng)絡(luò)犯罪的擔(dān)憂，包括操作安全擔(dān)憂和 AV/EDR 檢測。

4. 檢測人工智能生成內(nèi)容的挑戰(zhàn)

只要網(wǎng)絡(luò)犯罪分子使用人工智能聊天機(jī)器人發(fā)起惡意活動，即使程度比最初預(yù)想的要小，防御者也將很難與之對抗。

根據(jù) 10 月份發(fā)布的 Egress 網(wǎng)絡(luò)釣魚威脅趨勢報告，在四分之三 (71.4%) 的情況下，人工智能檢測器無法判斷網(wǎng)絡(luò)釣魚電子郵件是由聊天機(jī)器人還是人類編寫的。其原因在于人工智能探測器的工作原理。這些工具大多數(shù)都基于法學(xué)碩士，因此它們的準(zhǔn)確性隨著樣本量的增加而提高，通常需要至少 250 個字符才能工作。

幾乎一半 (44.9%) 的網(wǎng)絡(luò)釣魚電子郵件不符合 250 個字符的要求，另外 26.5% 的字符數(shù)低于 500 個字符，這意味著目前 AI 檢測器對于 71.4% 的攻擊要么無法可靠工作，要么根本無法工作。

5. 進(jìn)攻性網(wǎng)絡(luò)有助于保護(hù)生成式人工智能

2023 年，生成式 AI 制造商試圖表明他們對安全 AI 工具的承諾。這就是 OpenAI在 4 月份推出漏洞賞金計劃的原因，為白帽黑客提供高達(dá) 20,000 美元的獎勵，以尋找其產(chǎn)品和服務(wù)中的安全漏洞。

在 12 月 Black Hat Europe 期間的獨家采訪中，英國國家網(wǎng)絡(luò)安全中心 (NCSC) 首席技術(shù)官 Ollie Whitehouse 稱：“對政府和私營公司圍繞人工智能進(jìn)行的對話感到特別鼓舞”。

他補(bǔ)充說，像 OpenAI 的錯誤賞金計劃這樣的舉措“表明我們已經(jīng)打破了發(fā)布產(chǎn)品并且只有在產(chǎn)品被闖入后才開始保護(hù)它的傳統(tǒng)周期?！?/span>

6.美國人工智能監(jiān)管路線圖已形成

隨著生成式人工智能受到嚴(yán)格審查，政府必須表明他們正在采取措施來保護(hù)人工智能系統(tǒng)的安全。起初，拜登政府似乎嚴(yán)重依賴自我監(jiān)管方法，并在 7 月份獲得了亞馬遜、Anthropic、谷歌、Inflection、Meta、微軟和 OpenAI 等七家生成式人工智能巨頭的自愿承諾，以優(yōu)先考慮安全性并信任他們的人工智能系統(tǒng)。

其中一些公司后來成立了前沿模型論壇，這是一個負(fù)責(zé)監(jiān)管人工智能的行業(yè)機(jī)構(gòu)。

然而，許多專家批評了自律的功效。美國政府加強(qiáng)了其做法，從 10 月份發(fā)布的關(guān)于安全、可靠和值得信賴的人工智能的行政命令開始。值得注意的是，EO 提出了建立新的人工智能安全標(biāo)準(zhǔn)的必要性。

為了完成這項任務(wù)，拜登政府在11月初的英國人工智能安全峰會上宣布成立美國人工智能安全研究所。新研究所將隸屬于美國國家創(chuàng)新技術(shù)研究所 (NIST)。

11月中旬，美國網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局（CISA）公布了美國政府完整的人工智能安全路線圖。

7. 英國人工智能安全峰會：成就與批評

11月初的英國人工智能安全峰會對于另一個國家英國來說是一個展示實力、展現(xiàn)人工智能領(lǐng)導(dǎo)者身份、同時試圖制定人工智能安全標(biāo)準(zhǔn)議程的最佳機(jī)會。該活動在開始之前就因其對“前沿”人工智能模型的狹隘關(guān)注而受到批評。

盡管討論仍處于高水平，但英國政府可以吹噓這次活動達(dá)成了一些協(xié)議。

此次活動以《布萊切利宣言》拉開序幕，該宣言由 28 個國家簽署，概述了針對構(gòu)成最緊迫和最危險風(fēng)險的“前沿人工智能”系統(tǒng)采取全球行動的機(jī)遇、風(fēng)險和需求。

會議結(jié)束時，多個國家與八家人工智能提供商——亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）、Anthropic、谷歌人工智能、谷歌 DeepMind、Inflection、Meta、微軟、Mistral AI 和 OpenAI——簽署了協(xié)議，在發(fā)布前測試他們未來的人工智能模型。

此次活動還讓英國政府發(fā)布了一些公告，包括成立自己的人工智能安全研究所。

8. 歐盟通過了人工智能法案，并對生成式人工智能進(jìn)行了調(diào)整

盡管英國和美國在監(jiān)管人工智能方面謹(jǐn)慎行事，但歐盟預(yù)計將推出西方世界第一部人工智能法。

自 2021 年起就已經(jīng)在醞釀的歐盟人工智能法案，在 2022 年底大規(guī)模采用通用人工智能模型后，不得不進(jìn)行多次調(diào)整。

然而，歐盟最終兌現(xiàn)了承諾，歐洲議會于 2023 年 6 月以壓倒性多數(shù)通過了最新的立法草案，歐盟機(jī)構(gòu)經(jīng)過三天的“三方”討論后于 12 月簽署了臨時協(xié)議。技術(shù)細(xì)節(jié)仍需微調(diào)，但《人工智能法案》最快將于 2025 年成為法律。

9. ChatGPT 一年：生成式人工智能對網(wǎng)絡(luò)安全的影響

除了網(wǎng)絡(luò)釣魚之外，ChatGPT 對網(wǎng)絡(luò)犯罪領(lǐng)域的影響有限。Cato Networks 安全策略高級總監(jiān) Etay Maor 強(qiáng)調(diào)了網(wǎng)絡(luò)犯罪分子最初不愿采用大規(guī)模生成式人工智能工具的許多因素。

其中之一是由 ChatGPT 等 LLM 工具創(chuàng)建的代碼中的實際問題。這包括幻覺——輸出實際上不正確或與給定上下文無關(guān)，以及一些法學(xué)碩士無法正確理解特定語言（例如俄語）的問題。

Outpost24 威脅情報運(yùn)營經(jīng)理博爾哈·羅德里格斯 (Borja Rodriguez) 表示，事實上，使用這些技術(shù)來創(chuàng)建惡意軟件并不是一個好主意，因為人工智能聊天機(jī)器人是根據(jù)過去的數(shù)據(jù)和已經(jīng)存在的代碼進(jìn)行訓(xùn)練的。

羅德里格斯說：“最具傳染性的惡意軟件是那些以創(chuàng)新理念開發(fā)的惡意軟件，它們可以感染機(jī)器或注入進(jìn)程?！?/span>

SenseOn 創(chuàng)始人兼首席執(zhí)行官戴維·阿特金森 (David Atkinson) 認(rèn)為，雖然在他們的雷達(dá)范圍內(nèi)，生成式人工智能技術(shù)的使用目前不會成為網(wǎng)絡(luò)犯罪團(tuán)伙的優(yōu)先事項。他指出，繞過 MFA 的工具比 ChatGPT 所能生產(chǎn)的任何工具都更有價值。

10. Deepfakes：迫在眉睫的虛假信息威脅

2024 年，全球?qū)⑴e行 40 場全國選舉，成為歷史上規(guī)模最大的選舉年。

這對于虛假信息傳播者來說可能是一個福音，他們肯定會在操縱活動中使用深度造假工具。

根據(jù) ISACA 的說法，政治家并不是唯一擔(dān)心人工智能驅(qū)動的虛假信息的人。在 2023 年 10 月的生成式人工智能調(diào)查中，77% 的數(shù)字信任專業(yè)人士表示，當(dāng)今生成式人工智能帶來的最大風(fēng)險是錯誤信息和虛假信息。

ISACA 全球首席戰(zhàn)略官 Chris Dimitriadis 在愛爾蘭都柏林舉行的該協(xié)會數(shù)字信任峰會上表示：“圖片勝過千言萬語，我們沒有接受過質(zhì)疑我們所看到的內(nèi)容的訓(xùn)練。我們只受過訓(xùn)練來質(zhì)疑我們所聽到或讀到的內(nèi)容，因此這是人類的新出現(xiàn)，質(zhì)疑我們認(rèn)為合法或不合法的事物?！?/span>