日前，全球開源安全組織OWASP（Open Web Application Security Project）發(fā)布了《AI大模型應(yīng)用網(wǎng)絡(luò)安全治理檢查清單（V1.0）》（以下簡(jiǎn)稱為《檢查清單》）。在這份長達(dá)32頁的《檢查清單》中，較完整地介紹了AI大模型部署應(yīng)用時(shí)的安全原則、部署策略和檢查對(duì)照表，適用于那些希望在快速發(fā)展的AI領(lǐng)域中保持領(lǐng)先地位的組織和機(jī)構(gòu)，使他們能夠在制定大型語言模型戰(zhàn)略時(shí)，專注于制定一份全面的關(guān)鍵領(lǐng)域和任務(wù)清單。

《檢查清單》的主要編寫者Sandy Dunn表示：OWASP 已經(jīng)在2023年6月發(fā)布了針對(duì)LLM應(yīng)用程序的10大風(fēng)險(xiǎn)清單，但我們發(fā)現(xiàn)，許多企業(yè)組織對(duì)于使用AI需要考慮的事項(xiàng)以及從何處開始仍然存在很多困惑，而本次發(fā)布的《檢查清單》正是為了對(duì)上次發(fā)布的風(fēng)險(xiǎn)清單進(jìn)行了完善和補(bǔ)充。通過遵循檢查清單的建議要求，組織不僅可以增加對(duì)大模型安全應(yīng)用的信任，還可以提供一個(gè)簡(jiǎn)單有效的持續(xù)改進(jìn)戰(zhàn)略來鼓勵(lì)組織未來的應(yīng)用創(chuàng)新。

Dunn認(rèn)為，這份《檢查清單》能夠幫助所有類型的組織和機(jī)構(gòu)在應(yīng)用AI大模型時(shí)認(rèn)知到以下四個(gè)要點(diǎn)：

1）針對(duì)生成式AI的應(yīng)用，企業(yè)需要采用不同的安全保護(hù)思維方式；

2）AI技術(shù)帶來了不對(duì)稱的網(wǎng)絡(luò)對(duì)抗模型，攻擊者正在利用這些工具加速攻擊；

3）大模型工具的應(yīng)用需要全面考慮的實(shí)施策略和方法；

4）大模型工具的部署應(yīng)用，需要使用現(xiàn)有的法律、法規(guī)作為部署策略指南，例如歐盟的《通用數(shù)據(jù)保護(hù)條例》（GDPR）和各類隱私安全法規(guī)等。

部署大模型之前的準(zhǔn)備

在本次發(fā)布的《檢查清單》中，明確提出了企業(yè)組織在部署AI大模型工具之前要采取的步驟列表，包括審查網(wǎng)絡(luò)彈性和安全培訓(xùn)策略，以及與管理成討論如何將人工智能納入工作流程的實(shí)施計(jì)劃。

圖片

LLM部署策略的選擇方案

《檢查清單》還概述了組織根據(jù)其實(shí)際應(yīng)用需求，可靈活選擇的5種大模型工具部署方式，具體如下圖所示。

圖片

日前，全球開源安全組織OWASP（Open Web Application Security Project）發(fā)布了《AI大模型應(yīng)用網(wǎng)絡(luò)安全治理檢查清單（V1.0）》（以下簡(jiǎn)稱為《檢查清單》）。在這份長達(dá)32頁的《檢查清單》中，較完整地介紹了AI大模型部署應(yīng)用時(shí)的安全原則、部署策略和檢查對(duì)照表，適用于那些希望在快速發(fā)展的AI領(lǐng)域中保持領(lǐng)先地位的組織和機(jī)構(gòu)，使他們能夠在制定大型語言模型戰(zhàn)略時(shí)，專注于制定一份全面的關(guān)鍵領(lǐng)域和任務(wù)清單。

《檢查清單》的主要編寫者Sandy Dunn表示：OWASP 已經(jīng)在2023年6月發(fā)布了針對(duì)LLM應(yīng)用程序的10大風(fēng)險(xiǎn)清單，但我們發(fā)現(xiàn)，許多企業(yè)組織對(duì)于使用AI需要考慮的事項(xiàng)以及從何處開始仍然存在很多困惑，而本次發(fā)布的《檢查清單》正是為了對(duì)上次發(fā)布的風(fēng)險(xiǎn)清單進(jìn)行了完善和補(bǔ)充。通過遵循檢查清單的建議要求，組織不僅可以增加對(duì)大模型安全應(yīng)用的信任，還可以提供一個(gè)簡(jiǎn)單有效的持續(xù)改進(jìn)戰(zhàn)略來鼓勵(lì)組織未來的應(yīng)用創(chuàng)新。

Dunn認(rèn)為，這份《檢查清單》能夠幫助所有類型的組織和機(jī)構(gòu)在應(yīng)用AI大模型時(shí)認(rèn)知到以下四個(gè)要點(diǎn)：

1）針對(duì)生成式AI的應(yīng)用，企業(yè)需要采用不同的安全保護(hù)思維方式；

2）AI技術(shù)帶來了不對(duì)稱的網(wǎng)絡(luò)對(duì)抗模型，攻擊者正在利用這些工具加速攻擊；

3）大模型工具的應(yīng)用需要全面考慮的實(shí)施策略和方法；

4）大模型工具的部署應(yīng)用，需要使用現(xiàn)有的法律、法規(guī)作為部署策略指南，例如歐盟的《通用數(shù)據(jù)保護(hù)條例》（GDPR）和各類隱私安全法規(guī)等。

部署大模型之前的準(zhǔn)備

在本次發(fā)布的《檢查清單》中，明確提出了企業(yè)組織在部署AI大模型工具之前要采取的步驟列表，包括審查網(wǎng)絡(luò)彈性和安全培訓(xùn)策略，以及與管理成討論如何將人工智能納入工作流程的實(shí)施計(jì)劃。

圖片

LLM部署策略的選擇方案

《檢查清單》還概述了組織根據(jù)其實(shí)際應(yīng)用需求，可靈活選擇的5種大模型工具部署方式，具體如下圖所示。

AI大模型的常見部署類型

 Dunn表示：“AI大模型工具的應(yīng)用范圍包括了從利用公共消費(fèi)者應(yīng)用程序到在私有數(shù)據(jù)上訓(xùn)練專有模型。充分了解用例敏感性、所需功能和可用資源等因素，有助于企業(yè)組織確定如何在便利性與可控制性之間實(shí)現(xiàn)正確平衡?！?/p>

大模型應(yīng)用時(shí)的安全檢查清單

在《檢查清單》的第二部分中，詳細(xì)概述了實(shí)施LLM用例時(shí)需要考慮的具體事項(xiàng)，以避免給組織帶來不必要的安全性風(fēng)險(xiǎn)。這些事項(xiàng)涵蓋了面向業(yè)務(wù)的措施（包括建立業(yè)務(wù)案例和選擇合適的大模型解決方案）、風(fēng)險(xiǎn)管理措施（包括威脅建模、監(jiān)控AI風(fēng)險(xiǎn)、實(shí)施以AI為重點(diǎn)的安全培訓(xùn)、AI紅隊(duì)測(cè)試等），以及法律監(jiān)管合規(guī)方面的措施（如建立合規(guī)要求、實(shí)施測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證過程等）。以下列出了一些重點(diǎn)的清單要求：

1、對(duì)抗性風(fēng)險(xiǎn)

對(duì)抗性風(fēng)險(xiǎn)包括競(jìng)爭(zhēng)對(duì)手和攻擊者：

· 仔細(xì)研究競(jìng)爭(zhēng)對(duì)手如何投資人工智能；

· 調(diào)查對(duì)當(dāng)前安全控制措施的影響，如密碼重置等；

· 更新大模型增強(qiáng)攻擊和對(duì)特定事件的事件響應(yīng)計(jì)劃及行動(dòng)手冊(cè)。

2、威脅建模

《檢查清單》強(qiáng)烈建議使用威脅建模來識(shí)別威脅并檢查流程和安全防御。針對(duì)GenAI加速攻擊和部署LLM之前的威脅建模是識(shí)別和減輕風(fēng)險(xiǎn)、保護(hù)數(shù)據(jù)、保護(hù)隱私以及確保業(yè)務(wù)內(nèi)安全、合規(guī)集成的最具成本效益方法。

· 業(yè)務(wù)能否通過在所有LLM信任邊界上的安全集成來保護(hù)與現(xiàn)有系統(tǒng)和數(shù)據(jù)庫的連接？

· 企業(yè)是否有內(nèi)部威脅緩解措施，以防止授權(quán)用戶濫用？

· 企業(yè)能否防止未經(jīng)授權(quán)訪問專有模型或數(shù)據(jù)以保護(hù)知識(shí)產(chǎn)權(quán)？

· 企業(yè)能否通過自動(dòng)內(nèi)容過濾來防止有害或不適當(dāng)內(nèi)容的生成？

3、AI資產(chǎn)盤點(diǎn)

AI資產(chǎn)清單應(yīng)適用于內(nèi)部開發(fā)大模型應(yīng)用和相關(guān)的外部第三方解決方案。

· 對(duì)現(xiàn)有的人工智能服務(wù)、工具和所有者進(jìn)行編目

· 在資產(chǎn)管理中為特定庫存指定標(biāo)簽

· 將人工智能組件列入到軟件材料清單（SBOM）中

· 設(shè)定AI數(shù)據(jù)源和數(shù)據(jù)的敏感性（受保護(hù)、機(jī)密、公開）

· 確定是否需要對(duì)部署的人工智能解決方案進(jìn)行測(cè)試

· 創(chuàng)建人工智能解決方案人員的入職流程。

4、AI安全和隱私培訓(xùn)

在AI安全和隱私培訓(xùn)方面主要包括：

· 積極與各類員工接觸，了解并解決大模型應(yīng)用計(jì)劃中的問題；

· 就如何管理、管理和解決大模型使用風(fēng)險(xiǎn)，建立一種公開透明的溝通文化；

· 更新安全意識(shí)培訓(xùn)，將AI大模型相關(guān)威脅包括在內(nèi)；

· 任何采用的AI大模型解決方案都應(yīng)包括部署管道的DevOps和網(wǎng)絡(luò)安全培訓(xùn)。

5、建立并參考商業(yè)案例

成功的商業(yè)案例對(duì)于確定AI解決方案的商業(yè)價(jià)值、平衡風(fēng)險(xiǎn)和收益以及評(píng)估和測(cè)試投資回報(bào)至關(guān)重要。研究?jī)?nèi)容包括：

· 增強(qiáng)客戶體驗(yàn)

· 更高的運(yùn)營效率

· 更好的知識(shí)管理

· 加強(qiáng)創(chuàng)新設(shè)計(jì)

· 市場(chǎng)調(diào)查和競(jìng)爭(zhēng)對(duì)手分析

· 文檔創(chuàng)建、翻譯、摘要和分析

6、公司治理

大模型應(yīng)用時(shí)的公司治理需要為組織提供透明度和問責(zé)制。識(shí)別可能熟悉該技術(shù)或業(yè)務(wù)所選用例的人工智能平臺(tái)或流程所有者是非常必要的，這樣可以確保足夠的反應(yīng)速度，防止對(duì)現(xiàn)有的數(shù)字化流程造成損害。

· 建立組織的大模型應(yīng)用RACI圖表（誰負(fù)責(zé)，誰負(fù)責(zé)，咨詢誰，通知誰）；

· 記錄并分配組織內(nèi)的人工智能風(fēng)險(xiǎn)、風(fēng)險(xiǎn)評(píng)估和治理責(zé)任；

· 制定有關(guān)數(shù)據(jù)分類和使用限制的數(shù)據(jù)管理政策，包括技術(shù)強(qiáng)制執(zhí)行要求；

· 創(chuàng)建由既定政策支持的大模型應(yīng)用政策（例如良好行為標(biāo)準(zhǔn)、數(shù)據(jù)保護(hù)、軟件使用）；

· 發(fā)布各種大模型工具的可接受使用白名單，供員工參考；

· 記錄組織從生成LLM模型中使用的任何數(shù)據(jù)的來源和管理。

7、法律合規(guī)

關(guān)于AI大模型應(yīng)用的許多法律、法規(guī)目前仍然是不明確的，但是如果出現(xiàn)違規(guī)可能代價(jià)高昂。IT部門、安全部門和合規(guī)部門緊密合作，對(duì)于發(fā)現(xiàn)合規(guī)方面的問題和解決模糊決策至關(guān)重要。

· 確認(rèn)產(chǎn)品的安全責(zé)任在產(chǎn)品開發(fā)流程中是明確的，以指定誰負(fù)責(zé)人工智能的產(chǎn)品問題修復(fù)；

· 審查和更新現(xiàn)有條款和條件以考慮AI大模型的任何因素；

· 審查AI 應(yīng)用時(shí)的用戶許可協(xié)議；

· 組織修改最終用戶協(xié)議，以防止組織通過人工智能生成的內(nèi)容承擔(dān)與抄襲、偏見傳播或侵犯知識(shí)產(chǎn)權(quán)有關(guān)的法律責(zé)任；

· 審查用于代碼開發(fā)的現(xiàn)有人工智能輔助工具，防范可能威脅到公司對(duì)其產(chǎn)品所有權(quán)的因素出現(xiàn)；

· 嚴(yán)格審查知識(shí)產(chǎn)權(quán)的任何風(fēng)險(xiǎn)。如果在大模型中使用了不當(dāng)獲取的數(shù)據(jù)，聊天機(jī)器人生成的知識(shí)產(chǎn)權(quán)可能會(huì)受到威脅。大模型的應(yīng)用過程應(yīng)當(dāng)受到版權(quán)、商標(biāo)或?qū)＠Ｗo(hù)；

· 審查任何有賠償條款的合同。建立安全責(zé)任護(hù)欄，以確定AI技術(shù)的提供商或其用戶是否可能導(dǎo)致違規(guī)事件，從而導(dǎo)致責(zé)任；

· 審查人工智能系統(tǒng)造成的潛在傷害和財(cái)產(chǎn)損失的責(zé)任；

· 審查保險(xiǎn)范圍。傳統(tǒng)的（D&O）責(zé)任和商業(yè)一般責(zé)任保險(xiǎn)政策可能不足以充分保護(hù)人工智能的使用；

· 識(shí)別任何版權(quán)問題。版權(quán)需要人類作者身份，如果大模型工具被濫用，組織也可能對(duì)抄襲、傳播偏見或侵犯知識(shí)產(chǎn)權(quán)負(fù)責(zé)；

· 應(yīng)當(dāng)確保人工智能解決方案在未經(jīng)適當(dāng)同意或授權(quán)的情況下不會(huì)收集或共享敏感信息。

8、實(shí)現(xiàn)大模型解決方案

組織在實(shí)現(xiàn)大模型方案時(shí)，應(yīng)該檢查以下方面：

· 數(shù)據(jù)安全，驗(yàn)證如何根據(jù)敏感度對(duì)數(shù)據(jù)進(jìn)行分類和保護(hù)，包括個(gè)人和專有業(yè)務(wù)數(shù)據(jù)；

· 訪問控制，實(shí)施最低權(quán)限訪問控制，并實(shí)施縱深防御措施；

· 培訓(xùn)管道安全，需要對(duì)培訓(xùn)數(shù)據(jù)治理、管道、模型和算法進(jìn)行嚴(yán)格控制；

· 輸入和輸出安全性，評(píng)估輸入驗(yàn)證方法，以及如何過濾、凈化和批準(zhǔn)輸出；

· 做好應(yīng)用監(jiān)控和事件響應(yīng)，并確認(rèn)審核記錄是安全的；

· 檢查AI大模型工具或供應(yīng)鏈中的安全漏洞；

· 研究常見的威脅和攻擊對(duì)大模型解決方案的可能影響，如即時(shí)注入、敏感信息竊取和流程操縱；

· 調(diào)查攻擊和威脅對(duì)大模型的可能影響，包括模型中毒、數(shù)據(jù)處理不當(dāng)、供應(yīng)鏈攻擊和模型盜竊；

· 基礎(chǔ)設(shè)施的安全性，定期開展恢復(fù)能力測(cè)試，以及在可用性、可擴(kuò)展性和性能方面的SLA是什么；

· 更新事件響應(yīng)行動(dòng)手冊(cè)，并在桌面演習(xí)中包括大模型安全事件；

· 確定或擴(kuò)展指標(biāo)，將生成性網(wǎng)絡(luò)安全人工智能與其他方法進(jìn)行比較，以衡量預(yù)期生產(chǎn)力的提高

9、測(cè)試、評(píng)估、驗(yàn)證和確認(rèn)（TEVV）

TEVV包括一系列任務(wù)，如系統(tǒng)驗(yàn)證、集成、測(cè)試、重新校準(zhǔn)和持續(xù)監(jiān)測(cè)定期更新，以應(yīng)對(duì)人工智能系統(tǒng)的風(fēng)險(xiǎn)和變化：

· 組織在整個(gè)人工智能模型生命周期中建立持續(xù)的測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證；

· 定期提供人工智能模型功能、安全性、可靠性和穩(wěn)健性的執(zhí)行指標(biāo)和更新。

10、模型卡和風(fēng)險(xiǎn)卡

模型卡通過提供有關(guān)人工智能系統(tǒng)設(shè)計(jì)、功能和約束的標(biāo)準(zhǔn)化文檔，幫助用戶理解和信任人工智能系統(tǒng)，使他們能夠制作出有教育意義和安全的應(yīng)用程序；

風(fēng)險(xiǎn)卡通過公開解決潛在的負(fù)面后果（如偏見、隱私問題和安全漏洞）來補(bǔ)充這一點(diǎn)，從而鼓勵(lì)采取積極主動(dòng)的方法來預(yù)防傷害；

建立模型卡和風(fēng)險(xiǎn)卡對(duì)開發(fā)者、用戶、監(jiān)管機(jī)構(gòu)和倫理學(xué)家同樣至關(guān)重要，因?yàn)樗鼈兘⒘艘环N合作氛圍，在這種氛圍中，AI大模型應(yīng)用的社會(huì)影響將會(huì)得到認(rèn)真的解決和處理。

11、大型語言模型優(yōu)化

微調(diào)是優(yōu)化預(yù)訓(xùn)練模型的傳統(tǒng)方法，它涉及對(duì)新的、特定于領(lǐng)域的數(shù)據(jù)重新訓(xùn)練現(xiàn)有模型，并根據(jù)任務(wù)或應(yīng)用程序的性能對(duì)其進(jìn)行修改。微調(diào)對(duì)提高大模型安全應(yīng)用的性能至關(guān)重要。

檢索增強(qiáng)生成（RAG）已經(jīng)發(fā)展成為一種更有效的方式，通過從最新的可用知識(shí)源中檢索相關(guān)數(shù)據(jù)來優(yōu)化和增強(qiáng)大型語言模型的能力。RAG可以針對(duì)特定領(lǐng)域進(jìn)行定制，優(yōu)化特定領(lǐng)域信息的檢索，并根據(jù)專業(yè)領(lǐng)域的細(xì)微差別調(diào)整生成過程。RAG被視為大模型應(yīng)用優(yōu)化的一種更有效、更透明的方法。

12、AI紅隊(duì)

AI Red Teaming是對(duì)AI系統(tǒng)的對(duì)抗性攻擊測(cè)試模擬，以驗(yàn)證不存在任何可被攻擊者利用的現(xiàn)有漏洞。這是許多監(jiān)管和人工智能管理機(jī)構(gòu)建議的做法。單獨(dú)的紅隊(duì)測(cè)試并不能驗(yàn)證與人工智能系統(tǒng)相關(guān)的所有現(xiàn)實(shí)危害，應(yīng)該包括在其他形式的測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證中，如算法影響評(píng)估和外部審計(jì)。企業(yè)應(yīng)該將紅隊(duì)測(cè)試納入人工智能模型和應(yīng)用程序的標(biāo)準(zhǔn)實(shí)踐。

參考鏈接：https://www.infosecurity-magazine.com/news/owasp-security-checklist/