生成式人工智能（GenAI）正處于技術(shù)創(chuàng)新的前沿，為各個(gè)行業(yè)變革發(fā)展帶來新的可能性。然而，隨著這些技術(shù)的不斷應(yīng)用與整合，企業(yè)組織也必須謹(jǐn)慎對待其應(yīng)用安全性和監(jiān)管合規(guī)，以負(fù)責(zé)任和可持續(xù)的方式實(shí)現(xiàn)GenAI技術(shù)的價(jià)值落地。日前，專業(yè)媒體Helpnetsecurity收集整理了多家研究機(jī)構(gòu)在2023年開展的GenAI技術(shù)應(yīng)用調(diào)查，并對其主要預(yù)測觀點(diǎn)進(jìn)行了總結(jié)。通過對這些觀點(diǎn)的總結(jié)和觀察，將有助于企業(yè)組織在2024年更好地應(yīng)用GenAI技術(shù)。

1. 中小型企業(yè)更希望擁抱GenAI，但往往會忽視安全措施

Zscaler公司今年針對900多名全球IT決策者進(jìn)行了一項(xiàng)調(diào)查，數(shù)據(jù)顯示，盡管89%的組織認(rèn)為像ChatGPT這樣的GenAI工具存在潛在的安全風(fēng)險(xiǎn)，但仍然有95%的受訪組織已經(jīng)在其業(yè)務(wù)中以某種形式使用了這些技術(shù)。

令人擔(dān)憂的是，23%的用戶根本沒有監(jiān)控GenAI的使用情況，33%的用戶還沒有為GenAI應(yīng)用采取額外的安全措施。這種情況在小型企業(yè)（500-999名員工）中尤為明顯。51%的受訪者預(yù)計(jì)，其所在的企業(yè)在2024年對GenAI工具的關(guān)注度將進(jìn)一步增加，因此需要迅速采取行動，以縮小GenAI采用和安全之間的缺口。

2. 大多數(shù)企業(yè)不知道如何應(yīng)對GenAI應(yīng)用風(fēng)險(xiǎn)

ISG研究數(shù)據(jù)顯示，85%的受訪公司認(rèn)為，在未來24個(gè)月內(nèi)，對GenAI的投資是重要或關(guān)鍵的。然而，大多數(shù)公司并沒有采取“空白名單”（blank slate）的方式，而是要求或通過服務(wù)提供商將GenAI應(yīng)用整合到現(xiàn)有服務(wù)中。

關(guān)于生成式人工智能的最大擔(dān)憂之一是偏見和誤解。當(dāng)生成式人工智能無法生成一個(gè)問題的正確答案時(shí)，“人工智能幻覺”就會形成。此外，企業(yè)在應(yīng)用AI時(shí)，還要擔(dān)心數(shù)據(jù)質(zhì)量和模型被破壞或中毒的可能性。雖然很多企業(yè)組織看到了GenAI的潛力，但很少有企業(yè)知道該如何處理AI技術(shù)的應(yīng)用風(fēng)險(xiǎn)。ISG報(bào)告指出，在通過AI技術(shù)實(shí)現(xiàn)飛躍式發(fā)展之前，企業(yè)需要克服的障礙包括安全、版權(quán)問題、道德考慮和法律問題。

3. ChatGPT的應(yīng)用流行引發(fā)了全球GenAI投資的激增

人工智能并不是一項(xiàng)新技術(shù)，多年來，眾多科技公司一直在大力投資于預(yù)測和可解釋型人工智能。但研究機(jī)構(gòu)IDC表示，OpenAI所發(fā)布的GPT-3.5系列應(yīng)用，吸引了全世界的關(guān)注，并引發(fā)了對GenAI投資的激增。IDC預(yù)計(jì)，到2027年，全球在人工智能解決方案上的支出將增長到5000億美元以上。大多數(shù)組織都要經(jīng)歷一個(gè)向人工智能增強(qiáng)產(chǎn)品/服務(wù)過渡的轉(zhuǎn)變過程。

4. 企業(yè)技術(shù)領(lǐng)導(dǎo)者難以跟上AI的發(fā)展

Harvey Nash最新報(bào)告指出，AI技術(shù)正在全面挑戰(zhàn)組織傳統(tǒng)的發(fā)展模式，但只有15%的企業(yè)技術(shù)領(lǐng)導(dǎo)者表示已經(jīng)為GenAI的應(yīng)用做好了準(zhǔn)備，88%的受訪者表示加強(qiáng)對AI技術(shù)應(yīng)用的監(jiān)管至關(guān)重要。研究人員發(fā)現(xiàn)，盡管AI的市場預(yù)測呈爆炸式增長，但僅有10%的組織大規(guī)模實(shí)施了AI，而更多組織還是處于試點(diǎn)或小規(guī)模實(shí)施階段。

對AI有效應(yīng)用的擔(dān)憂是顯著的，近45%的企業(yè)技術(shù)領(lǐng)導(dǎo)者表示，AI技術(shù)是企業(yè)目前最短缺的技能領(lǐng)域，技能短缺將使企業(yè)無法跟上技術(shù)變革的步伐。

5. 企業(yè)有充分的理由擔(dān)心GenAI應(yīng)用安全性

據(jù)Portal26發(fā)布的調(diào)研數(shù)據(jù)顯示，三分之二的受訪者承認(rèn)在過去一年中發(fā)生過GenAI安全或?yàn)E用事件。73%的受訪者已經(jīng)經(jīng)歷過與GenAI相關(guān)的安全事件，其中67%發(fā)生在2023年。研究人員認(rèn)為，企業(yè)組織對GenAI應(yīng)用的安全性擔(dān)憂正在不斷增長，并且應(yīng)用風(fēng)險(xiǎn)仍未得到有效解決，具體擔(dān)心包括影子AI應(yīng)用（占比58%）、數(shù)據(jù)隱私（56%）、合規(guī)治理（63%）、知識產(chǎn)權(quán)保護(hù)（62%）、訓(xùn)練偏見（55%）、數(shù)據(jù)安全（60%）以及員工培訓(xùn)（58%）等方面。

6. CISO需要提前為AI技術(shù)引發(fā)的網(wǎng)絡(luò)攻擊做好準(zhǔn)備

根據(jù)Abnormal Security公司提供的監(jiān)測數(shù)據(jù)，企業(yè)組織在2023年所經(jīng)歷的電子郵件攻擊數(shù)量和復(fù)雜程度都出現(xiàn)了明顯增長，而主要原因很可能就是因?yàn)楣粽邚V泛使用了GenAI技術(shù)。

讓安全研究人員最擔(dān)心的是，GenAI不僅使電子郵件攻擊變得越來越復(fù)雜，還能夠幫助攻擊者根據(jù)公開可用的信息制作高度針對性和個(gè)性化的欺詐電子郵件。

2023年，有許多人已經(jīng)在經(jīng)歷這些威脅，80.3%的受訪者證實(shí)，他們的組織已經(jīng)收到由AI生成的電子郵件攻擊。但絕大多數(shù)安全負(fù)責(zé)人并沒有做好充分準(zhǔn)備，難以防范AI生成的電子郵件攻擊。傳統(tǒng)的安全防護(hù)方法難以應(yīng)對AI生成的網(wǎng)絡(luò)攻擊，因此，有46%的受訪者對檢測和阻止人工智能生成的攻擊缺乏信心。

7. 通過構(gòu)建GenAI能力促進(jìn)業(yè)務(wù)增長

IDC的研究人員表示，現(xiàn)代企業(yè)組織應(yīng)該盡快踏上GenAI技術(shù)采用之旅以實(shí)現(xiàn)業(yè)務(wù)成功，這需要不斷開展與GenAI投資相關(guān)的基礎(chǔ)活動，確定用例優(yōu)先級的指導(dǎo)，以及確定構(gòu)建和實(shí)施成功計(jì)劃所必需的關(guān)鍵利益相關(guān)者。構(gòu)建和使用GenAI模型將需要新的能力，例如“提示工程師”為GenAI系統(tǒng)編寫和測試提示。每個(gè)組織都必須為核心AI技術(shù)和業(yè)務(wù)能力創(chuàng)建新的技能地圖，以便在整個(gè)組織中大規(guī)模部署GenAI。組織還應(yīng)該為關(guān)鍵角色建立個(gè)性化的培訓(xùn)計(jì)劃。

8. GenAI可能會將DevOps和SecOps引入到危險(xiǎn)領(lǐng)域

Sonatype公司研究表示，企業(yè)應(yīng)用安全領(lǐng)導(dǎo)者和軟件開發(fā)領(lǐng)導(dǎo)者們都一直認(rèn)為，GenAI技術(shù)將導(dǎo)致軟件開發(fā)中更普遍的安全漏洞，可能會將DevOps和SecOps引入到危險(xiǎn)領(lǐng)域。

調(diào)查顯示，97%的受訪DevOps和SecOps領(lǐng)導(dǎo)者目前已經(jīng)開始使用GenAI技術(shù)。但大多數(shù)受訪者都認(rèn)為，安全風(fēng)險(xiǎn)是他們對該技術(shù)應(yīng)用最大擔(dān)憂。不過，雖然DevOps和SecOps受訪者對GenAI的風(fēng)險(xiǎn)看法高度，但在采用率方面卻存在顯著差異。45%的SecOps領(lǐng)導(dǎo)者已經(jīng)在軟件開發(fā)過程中實(shí)施了GenAI，而DevOps的這一比例為31%。57%的SecOps受訪者表示GenAI每周至少為他們節(jié)省6個(gè)小時(shí)，而DevOps方面只有31%的受訪者表示節(jié)省了同樣時(shí)間。

9. 企業(yè)對GenAI的SaaS化服務(wù)安全影響感到焦慮

Snow Software公司表示，企業(yè)的IT領(lǐng)導(dǎo)者正在努力應(yīng)對GenAI應(yīng)用風(fēng)險(xiǎn)挑戰(zhàn)，盡管96%的受訪者仍然對其組織的SaaS安全措施“有信心或非常有信心”，然而，IT領(lǐng)導(dǎo)者現(xiàn)在必須將GenAI的風(fēng)險(xiǎn)影響納入其整體SaaS安全方法中。23%的受訪者表示，GenAI應(yīng)用程序是最令人擔(dān)憂的SaaS安全問題。57%的受訪者表示，如果SaaS供應(yīng)商在他們不知情的情況下使用GenAI，這會讓他們感到震驚和焦慮。

參考鏈接：https://www.helpnetsecurity.com/2023/12/22/genai-cybersecurity-surveys/