生成式人工智能在 2022 年底席卷全球，讓人工智能領(lǐng)域在 2023 年成為眾人矚目的焦點(diǎn)。

IBM 表示，盡管人工智能的采用率猛增，到 2023 年，35% 的企業(yè)將使用人工智能，42% 的企業(yè)將在未來探索人工智能的實(shí)施，但新的擔(dān)憂也出現(xiàn)了。

以下是 2023 年十大人工智能安全新聞報(bào)道。

1. ChatGPT 的隱私問題

在 2022 年 11 月推出幾個(gè)月后，OpenAI 的 ChatGPT 最常見的企業(yè)用途之一是起草隱私聲明。具有諷刺意味的是，人工智能驅(qū)動(dòng)的聊天機(jī)器人本身一直受到數(shù)據(jù)保護(hù)專家的審查。

用于對(duì)大語(yǔ)言模型 (LLM) ChatGPT 進(jìn)行數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)抓取方法是基于圍繞個(gè)人數(shù)據(jù)收集或處理不準(zhǔn)確數(shù)據(jù)提出的許多問題。人工智能和隱私專家討論，討論聊天機(jī)器人是否符合現(xiàn)有立法，包括 GDPR。還探討了其制造商 OpenAI 是否采取了足夠的預(yù)防措施來防止其中一些風(fēng)險(xiǎn)。

2. 用于惡意目的的 GPT 模型

2023 年初出現(xiàn)了將 ChatGPT 用于惡意目的的證據(jù)，例如創(chuàng)建多態(tài)惡意軟件或起草網(wǎng)絡(luò)釣魚電子郵件。這導(dǎo)致 OpenAI 和谷歌（推出了 ChatGPT 競(jìng)爭(zhēng)對(duì)手 Bard）實(shí)施防護(hù)措施以防止此類濫用。然而，這些似乎還不夠，因?yàn)?SlashNext 2023 年網(wǎng)絡(luò)釣魚狀況報(bào)告在 10 月透露，ChatGPT 的使用使網(wǎng)絡(luò)釣魚數(shù)量在 2023 年第四季度比 2022 年第四季度激增 1265%。

雖然一些黑帽黑客一直在利用基于 LLM 的合法工具，但其他黑客已經(jīng)開始制作自己的惡意生成人工智能工具。其中大多數(shù)都被賦予了威脅性的名稱，例如WormGPT、FraudGPT、 WolfGPT 、 XXXGPT 、 PoisonGPT 或 DarkBard 。

然而，許多專家稱，這種趨勢(shì)可能會(huì)消失。

Vectra AI 歐洲、中東和非洲地區(qū)首席技術(shù)官 Christian Borst 持這種觀點(diǎn)。

他說道：“LLM 的廣泛使用將會(huì)逐漸消失，但 Deepfake 將會(huì)猛增。法學(xué)碩士通常很難使用，因?yàn)樗鼈儫o法理解背景或提供可靠的輸出，因此法學(xué)碩士的更廣泛實(shí)際使用受到限制。”

然而，博斯特認(rèn)為，企業(yè)明年可能會(huì)減少對(duì)法學(xué)碩士的使用，因?yàn)樗麄兊却@些工具變得更加實(shí)用和用戶友好。

“威脅行為者在使用法學(xué)碩士時(shí)將面臨同樣的問題，因此我們可能不會(huì)看到像人工智能生成惡意代碼這樣的復(fù)雜活動(dòng)。但我們可以預(yù)期網(wǎng)絡(luò)犯罪分子會(huì)利用生成式人工智能來創(chuàng)建更真實(shí)、更復(fù)雜的深度偽造品。這將使他們更有機(jī)會(huì)通過更有說服力的音頻或視覺網(wǎng)絡(luò)釣魚誘餌，誘騙用戶放棄敏感數(shù)據(jù)或點(diǎn)擊惡意內(nèi)容。”

3. 當(dāng)法學(xué)碩士的熱潮平息時(shí)

11 月份，針對(duì)惡意活動(dòng)的 LLM 采用也受到了挑戰(zhàn)，當(dāng)時(shí) Sophos X-Ops 報(bào)告顯示，網(wǎng)絡(luò)犯罪分子迄今為止不愿使用生成式 AI發(fā)起攻擊。

該公司檢查了四個(gè)著名的暗網(wǎng)論壇中與法學(xué)碩士相關(guān)的討論，發(fā)現(xiàn)威脅行為者對(duì)使用這些工具幾乎沒有興趣，甚至對(duì)它們帶來的更廣泛的風(fēng)險(xiǎn)表示擔(dān)憂。在研究中的兩個(gè)論壇中，只發(fā)現(xiàn)了 100 個(gè)關(guān)于人工智能的帖子。相比之下，同期有 1000 個(gè)與加密貨幣相關(guān)的帖子。

研究人員透露，大多數(shù)與 LLM 相關(guān)的帖子都與受感染的 ChatGPT 帳戶出售以及規(guī)避 LLM 內(nèi)置保護(hù)措施（稱為“越獄”）的方法有關(guān)。

此外，他們還觀察到 10 個(gè) ChatGPT 衍生品，其創(chuàng)建者聲稱這些衍生品可用于發(fā)起網(wǎng)絡(luò)攻擊和開發(fā)惡意軟件。然而，Sophos X-Ops 表示，網(wǎng)絡(luò)犯罪分子對(duì)這些衍生品反應(yīng)不一，許多人擔(dān)心 ChatGPT 模仿者的創(chuàng)建者試圖欺騙他們。

研究人員補(bǔ)充說，許多使用法學(xué)碩士創(chuàng)建惡意軟件或攻擊工具的嘗試都是“初級(jí)的”，并且經(jīng)常遭到其他用戶的懷疑。例如，一名威脅行為者在展示 ChatGPT 的潛力時(shí)無意中泄露了有關(guān)其真實(shí)身份的信息。許多用戶對(duì) LLM 生成的代碼存在針對(duì)網(wǎng)絡(luò)犯罪的擔(dān)憂，包括操作安全擔(dān)憂和 AV/EDR 檢測(cè)。

4. 檢測(cè)人工智能生成內(nèi)容的挑戰(zhàn)

只要網(wǎng)絡(luò)犯罪分子使用人工智能聊天機(jī)器人發(fā)起惡意活動(dòng)，即使程度比最初預(yù)想的要小，防御者也將很難與之對(duì)抗。

根據(jù) 10 月份發(fā)布的 Egress 網(wǎng)絡(luò)釣魚威脅趨勢(shì)報(bào)告，在四分之三 (71.4%) 的情況下，人工智能檢測(cè)器無法判斷網(wǎng)絡(luò)釣魚電子郵件是由聊天機(jī)器人還是人類編寫的。其原因在于人工智能探測(cè)器的工作原理。這些工具大多數(shù)都基于法學(xué)碩士，因此它們的準(zhǔn)確性隨著樣本量的增加而提高，通常需要至少 250 個(gè)字符才能工作。

幾乎一半 (44.9%) 的網(wǎng)絡(luò)釣魚電子郵件不符合 250 個(gè)字符的要求，另外 26.5% 的字符數(shù)低于 500 個(gè)字符，這意味著目前 AI 檢測(cè)器對(duì)于 71.4% 的攻擊要么無法可靠工作，要么根本無法工作。

5. 進(jìn)攻性網(wǎng)絡(luò)有助于保護(hù)生成式人工智能

2023 年，生成式 AI 制造商試圖表明他們對(duì)安全 AI 工具的承諾。這就是 OpenAI在 4 月份推出漏洞賞金計(jì)劃的原因，為白帽黑客提供高達(dá) 20,000 美元的獎(jiǎng)勵(lì)，以尋找其產(chǎn)品和服務(wù)中的安全漏洞。

在 12 月 Black Hat Europe 期間的獨(dú)家采訪中，英國(guó)國(guó)家網(wǎng)絡(luò)安全中心 (NCSC) 首席技術(shù)官 Ollie Whitehouse 稱：“對(duì)政府和私營(yíng)公司圍繞人工智能進(jìn)行的對(duì)話感到特別鼓舞”。

他補(bǔ)充說，像 OpenAI 的錯(cuò)誤賞金計(jì)劃這樣的舉措“表明我們已經(jīng)打破了發(fā)布產(chǎn)品并且只有在產(chǎn)品被闖入后才開始保護(hù)它的傳統(tǒng)周期?！?/span>

6.美國(guó)人工智能監(jiān)管路線圖已形成

隨著生成式人工智能受到嚴(yán)格審查，政府必須表明他們正在采取措施來保護(hù)人工智能系統(tǒng)的安全。起初，拜登政府似乎嚴(yán)重依賴自我監(jiān)管方法，并在 7 月份獲得了亞馬遜、Anthropic、谷歌、Inflection、Meta、微軟和 OpenAI 等七家生成式人工智能巨頭的自愿承諾，以優(yōu)先考慮安全性并信任他們的人工智能系統(tǒng)。

其中一些公司后來成立了前沿模型論壇，這是一個(gè)負(fù)責(zé)監(jiān)管人工智能的行業(yè)機(jī)構(gòu)。

然而，許多專家批評(píng)了自律的功效。美國(guó)政府加強(qiáng)了其做法，從 10 月份發(fā)布的關(guān)于安全、可靠和值得信賴的人工智能的行政命令開始。值得注意的是，EO 提出了建立新的人工智能安全標(biāo)準(zhǔn)的必要性。

為了完成這項(xiàng)任務(wù)，拜登政府在11月初的英國(guó)人工智能安全峰會(huì)上宣布成立美國(guó)人工智能安全研究所。新研究所將隸屬于美國(guó)國(guó)家創(chuàng)新技術(shù)研究所 (NIST)。

11月中旬，美國(guó)網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局（CISA）公布了美國(guó)政府完整的人工智能安全路線圖。

7. 英國(guó)人工智能安全峰會(huì)：成就與批評(píng)

11月初的英國(guó)人工智能安全峰會(huì)對(duì)于另一個(gè)國(guó)家英國(guó)來說是一個(gè)展示實(shí)力、展現(xiàn)人工智能領(lǐng)導(dǎo)者身份、同時(shí)試圖制定人工智能安全標(biāo)準(zhǔn)議程的最佳機(jī)會(huì)。該活動(dòng)在開始之前就因其對(duì)“前沿”人工智能模型的狹隘關(guān)注而受到批評(píng)。

盡管討論仍處于高水平，但英國(guó)政府可以吹噓這次活動(dòng)達(dá)成了一些協(xié)議。

此次活動(dòng)以《布萊切利宣言》拉開序幕，該宣言由 28 個(gè)國(guó)家簽署，概述了針對(duì)構(gòu)成最緊迫和最危險(xiǎn)風(fēng)險(xiǎn)的“前沿人工智能”系統(tǒng)采取全球行動(dòng)的機(jī)遇、風(fēng)險(xiǎn)和需求。

會(huì)議結(jié)束時(shí)，多個(gè)國(guó)家與八家人工智能提供商——亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）、Anthropic、谷歌人工智能、谷歌 DeepMind、Inflection、Meta、微軟、Mistral AI 和 OpenAI——簽署了協(xié)議，在發(fā)布前測(cè)試他們未來的人工智能模型。

此次活動(dòng)還讓英國(guó)政府發(fā)布了一些公告，包括成立自己的人工智能安全研究所。

8. 歐盟通過了人工智能法案，并對(duì)生成式人工智能進(jìn)行了調(diào)整

盡管英國(guó)和美國(guó)在監(jiān)管人工智能方面謹(jǐn)慎行事，但歐盟預(yù)計(jì)將推出西方世界第一部人工智能法。

自 2021 年起就已經(jīng)在醞釀的歐盟人工智能法案，在 2022 年底大規(guī)模采用通用人工智能模型后，不得不進(jìn)行多次調(diào)整。

然而，歐盟最終兌現(xiàn)了承諾，歐洲議會(huì)于 2023 年 6 月以壓倒性多數(shù)通過了最新的立法草案，歐盟機(jī)構(gòu)經(jīng)過三天的“三方”討論后于 12 月簽署了臨時(shí)協(xié)議。技術(shù)細(xì)節(jié)仍需微調(diào)，但《人工智能法案》最快將于 2025 年成為法律。

9. ChatGPT 一年：生成式人工智能對(duì)網(wǎng)絡(luò)安全的影響

除了網(wǎng)絡(luò)釣魚之外，ChatGPT 對(duì)網(wǎng)絡(luò)犯罪領(lǐng)域的影響有限。Cato Networks 安全策略高級(jí)總監(jiān) Etay Maor 強(qiáng)調(diào)了網(wǎng)絡(luò)犯罪分子最初不愿采用大規(guī)模生成式人工智能工具的許多因素。

其中之一是由 ChatGPT 等 LLM 工具創(chuàng)建的代碼中的實(shí)際問題。這包括幻覺——輸出實(shí)際上不正確或與給定上下文無關(guān)，以及一些法學(xué)碩士無法正確理解特定語(yǔ)言（例如俄語(yǔ)）的問題。

Outpost24 威脅情報(bào)運(yùn)營(yíng)經(jīng)理博爾哈·羅德里格斯 (Borja Rodriguez) 表示，事實(shí)上，使用這些技術(shù)來創(chuàng)建惡意軟件并不是一個(gè)好主意，因?yàn)槿斯ぶ悄芰奶鞕C(jī)器人是根據(jù)過去的數(shù)據(jù)和已經(jīng)存在的代碼進(jìn)行訓(xùn)練的。

羅德里格斯說：“最具傳染性的惡意軟件是那些以創(chuàng)新理念開發(fā)的惡意軟件，它們可以感染機(jī)器或注入進(jìn)程?！?/span>

SenseOn 創(chuàng)始人兼首席執(zhí)行官戴維·阿特金森 (David Atkinson) 認(rèn)為，雖然在他們的雷達(dá)范圍內(nèi)，生成式人工智能技術(shù)的使用目前不會(huì)成為網(wǎng)絡(luò)犯罪團(tuán)伙的優(yōu)先事項(xiàng)。他指出，繞過 MFA 的工具比 ChatGPT 所能生產(chǎn)的任何工具都更有價(jià)值。

10. Deepfakes：迫在眉睫的虛假信息威脅

2024 年，全球?qū)⑴e行 40 場(chǎng)全國(guó)選舉，成為歷史上規(guī)模最大的選舉年。

這對(duì)于虛假信息傳播者來說可能是一個(gè)福音，他們肯定會(huì)在操縱活動(dòng)中使用深度造假工具。

根據(jù) ISACA 的說法，政治家并不是唯一擔(dān)心人工智能驅(qū)動(dòng)的虛假信息的人。在 2023 年 10 月的生成式人工智能調(diào)查中，77% 的數(shù)字信任專業(yè)人士表示，當(dāng)今生成式人工智能帶來的最大風(fēng)險(xiǎn)是錯(cuò)誤信息和虛假信息。

ISACA 全球首席戰(zhàn)略官 Chris Dimitriadis 在愛爾蘭都柏林舉行的該協(xié)會(huì)數(shù)字信任峰會(huì)上表示：“圖片勝過千言萬(wàn)語(yǔ)，我們沒有接受過質(zhì)疑我們所看到的內(nèi)容的訓(xùn)練。我們只受過訓(xùn)練來質(zhì)疑我們所聽到或讀到的內(nèi)容，因此這是人類的新出現(xiàn)，質(zhì)疑我們認(rèn)為合法或不合法的事物?！?/span>