AI軟件供應(yīng)鏈正在迅速擴(kuò)展，不僅包括開源開發(fā)工具，還涵蓋了開發(fā)者共享定制模型、智能體、提示詞及其他資源的協(xié)作平臺(tái)。隨著第三方AI組件和服務(wù)使用的增加，安全威脅也隨之?dāng)U大——這種威脅在許多方面可能比傳統(tǒng)軟件供應(yīng)鏈問題更為復(fù)雜、隱蔽且有害。

當(dāng)公司急于嘗試AI技術(shù)時(shí)，往往缺乏對(duì)傳統(tǒng)軟件開發(fā)那樣嚴(yán)格的監(jiān)督，而攻擊者則迅速意識(shí)到，這些超出典型安全監(jiān)控范圍的新平臺(tái)和可共享資產(chǎn)可被利用來入侵系統(tǒng)和數(shù)據(jù)。

“這種模式并不新鮮，它與我們反復(fù)在軟件開發(fā)中看到的如出一轍，”軟件供應(yīng)鏈管理公司Sonatype的首席技術(shù)官Brian Fox告訴記者，“每當(dāng)有新鮮且令人興奮的事物出現(xiàn)，無論是容器化、無服務(wù)器，還是現(xiàn)在的AI，企業(yè)都會(huì)迅速行動(dòng)以獲取利益，但安全往往滯后。AI的獨(dú)特之處在于其復(fù)雜性增加：預(yù)訓(xùn)練模型、不透明的數(shù)據(jù)源，以及像提示詞注入這樣的新攻擊途徑。這些因素使得傳統(tǒng)安全實(shí)踐更難應(yīng)用?！?/p>

AI依賴項(xiàng)中的缺陷和惡意代碼日益增多

就在上周，應(yīng)用安全公司Backslash的研究人員警告說，數(shù)百個(gè)公開共享的Model Context Protocol(MCP)服務(wù)器存在不安全配置，這可能會(huì)在部署這些服務(wù)器的系統(tǒng)上開啟任意命令執(zhí)行漏洞。MCP服務(wù)器將大型語言模型(LLM)與第三方服務(wù)、數(shù)據(jù)源和工具連接起來，以提供更好的推理上下文，使它們成為構(gòu)建智能體的不可或缺的工具。

今年6月早些時(shí)候，AI安全初創(chuàng)公司Noma Security的研究人員警告稱，LangChain的Prompt Hub中的一個(gè)功能可能被攻擊者濫用，以分發(fā)竊取API令牌和敏感數(shù)據(jù)的惡意提示詞。LangChain的Prompt Hub是LangSmith平臺(tái)的一部分，用于構(gòu)建、測(cè)試和監(jiān)控基于AI的應(yīng)用程序的性能。

LangSmith用戶可以在Prompt Hub中相互分享復(fù)雜的系統(tǒng)提示詞，這些提示詞的行為類似于智能體。在開發(fā)此類提示詞時(shí)，有一個(gè)功能是指定一個(gè)代理服務(wù)器，通過該服務(wù)器將所有API請(qǐng)求路由到LLM提供商。

“這一新發(fā)現(xiàn)的漏洞利用了采用‘Prompt Hub’上上傳的包含預(yù)配置惡意代理服務(wù)器的智能體的不知情用戶(這違反了LangChain的服務(wù)條款)，”Noma Security的研究人員寫道，“一旦采用，惡意代理就會(huì)秘密攔截所有用戶通信——包括API密鑰(包括OpenAI API密鑰)、用戶提示詞、文檔、圖像和語音輸入等敏感數(shù)據(jù)——而受害者卻毫不知情。”

LangChain團(tuán)隊(duì)隨后向包含自定義代理配置的智能體添加了警告，但這一漏洞凸顯出，如果用戶不注意，尤其是當(dāng)他們?cè)谧约旱南到y(tǒng)上復(fù)制和運(yùn)行他人的代碼時(shí)，善意的功能也可能帶來嚴(yán)重的安全后果。

正如Sonatype的Fox所提到的，問題在于，對(duì)于AI而言，風(fēng)險(xiǎn)超出了傳統(tǒng)可執(zhí)行代碼的范疇。開發(fā)者可能更容易理解為什么在他們的機(jī)器上運(yùn)行來自PyPI、npm、NuGet和Maven Central等存儲(chǔ)庫的軟件組件如果未經(jīng)安全團(tuán)隊(duì)事先審查會(huì)帶來重大風(fēng)險(xiǎn)，但他們可能不會(huì)認(rèn)為測(cè)試LLM中的系統(tǒng)提示詞或甚至是他人分享的定制機(jī)器學(xué)習(xí)(ML)模型也存在同樣的風(fēng)險(xiǎn)。

攻擊者完全明白，AI供應(yīng)鏈在監(jiān)督方面落后于傳統(tǒng)軟件開發(fā)，并已開始利用這一點(diǎn)。今年早些時(shí)候，研究人員在Hugging Face(最大的機(jī)器學(xué)習(xí)資產(chǎn)共享平臺(tái))上托管的人工智能模型中發(fā)現(xiàn)了惡意代碼。

這些攻擊利用了Python的序列化Pickle格式。由于PyTorch作為廣泛使用的ML庫(用Python編寫)的流行，Pickle已成為存儲(chǔ)和分發(fā)ML模型的常見方式，然而，目前還沒有多少安全工具能夠掃描此類文件中的惡意代碼。

最近，研究人員在PyPI上發(fā)現(xiàn)了一個(gè)偽裝成阿里巴巴AI SDK的惡意組件，其中包含一個(gè)Pickle格式的“毒藥”模型，內(nèi)部藏有惡意隱藏代碼。

安全工具仍在追趕AI供應(yīng)鏈風(fēng)險(xiǎn)

“目前的大多數(shù)工具都無法充分掃描AI模型或提示詞中的惡意代碼，而攻擊者已經(jīng)在利用這一差距，”Sonatype的Fox說，“雖然一些早期解決方案正在出現(xiàn)，但企業(yè)不應(yīng)等待。他們需要立即擴(kuò)展現(xiàn)有的安全政策，以覆蓋這些新組件——因?yàn)轱L(fēng)險(xiǎn)是真實(shí)存在且不斷增長(zhǎng)的。”

DistributedApps.ai的首席AI官兼云安全聯(lián)盟(CSA)AI安全工作組聯(lián)合主席Ken Huang也表示贊同：“團(tuán)隊(duì)常常優(yōu)先考慮速度和創(chuàng)新，而非嚴(yán)格的審查，特別是隨著vibe coding(借助LLM驅(qū)動(dòng)的代碼助手開發(fā)整個(gè)應(yīng)用程序，人類通過自然語言提示作為監(jiān)督者給出輸入)的興起，使得快速生成和分享代碼變得更加容易。這種環(huán)境促進(jìn)了捷徑和對(duì)AI輸出的過度自信，導(dǎo)致集成了不安全或未經(jīng)驗(yàn)證的組件，增加了供應(yīng)鏈被入侵的可能性。”

CSA是一個(gè)促進(jìn)云計(jì)算安全保障實(shí)踐的非營(yíng)利性行業(yè)協(xié)會(huì)，最近發(fā)布了一份由Huang與50多位行業(yè)貢獻(xiàn)者和審閱者共同編寫的《智能體AI紅隊(duì)指南》，其中一章探討了測(cè)試AI智能體供應(yīng)鏈和依賴項(xiàng)攻擊的方法，這些攻擊可能導(dǎo)致未經(jīng)授權(quán)的訪問、數(shù)據(jù)泄露或系統(tǒng)故障。

全面的MLSecOps方法

“依賴項(xiàng)掃描器、鎖文件和哈希驗(yàn)證有助于將包固定到受信任的版本，并識(shí)別不安全或虛假的依賴項(xiàng)，”Huang告訴記者，“然而，并非所有威脅——如微妙的數(shù)據(jù)投毒或基于提示詞的攻擊——都能通過自動(dòng)掃描檢測(cè)到，因此分層防御和人工審查仍然至關(guān)重要?！?/p>

Huang的建議包括：

? Vibe coding風(fēng)險(xiǎn)緩解：認(rèn)識(shí)到vibe coding可能引入不安全或不必要的依賴項(xiàng)，并強(qiáng)制對(duì)AI生成的代碼和庫進(jìn)行人工審查。鼓勵(lì)對(duì)所有AI生成的建議(特別是包名和框架推薦)持懷疑態(tài)度并進(jìn)行驗(yàn)證。

? MLBOM和AIBOM：建立機(jī)器學(xué)習(xí)或AI物料清單將為企業(yè)提供所有數(shù)據(jù)集、模型和代碼依賴項(xiàng)的詳細(xì)清單，為AI特定資產(chǎn)提供透明度和可追溯性。模型卡和系統(tǒng)卡有助于記錄預(yù)期用途、局限性和倫理考慮，但不解決技術(shù)供應(yīng)鏈風(fēng)險(xiǎn)，MLBOM/AIBOM通過關(guān)注來源和完整性來補(bǔ)充這些。

? 持續(xù)掃描和監(jiān)控：將模型和依賴項(xiàng)掃描器集成到CI/CD管道中，并監(jiān)控部署后的異常行為。

? 零信任和最小權(quán)限：默認(rèn)將所有第三方AI資產(chǎn)視為不受信任，隔離和沙箱化新模型和智能體，并限制AI智能體的權(quán)限。

? 策略對(duì)齊：確保AI平臺(tái)和存儲(chǔ)庫受到現(xiàn)有軟件供應(yīng)鏈安全政策的覆蓋，并更新以應(yīng)對(duì)AI和vibe coding的獨(dú)特風(fēng)險(xiǎn)。