AI與企業(yè)軟件開發(fā)和應(yīng)用關(guān)系的日益緊密，使得AI和軟件供應(yīng)鏈已經(jīng)融為一體。AI成為軟件供應(yīng)鏈的重要組成部分。

AI 的技術(shù)復(fù)雜性與快速采用特性，構(gòu)成了供應(yīng)鏈威脅的“完美風(fēng)暴”。無論是生產(chǎn)還是應(yīng)用軟件解決方案的組織，都需要為AI帶來的風(fēng)險(xiǎn)做好準(zhǔn)備。

AI增加軟件供應(yīng)鏈復(fù)雜性

AI的引入使得軟件供應(yīng)鏈的管理變得更加復(fù)雜，從而可能帶來新的安全威脅，其中包括保護(hù)訓(xùn)練數(shù)據(jù)和模型免受潛在漏洞的影響。以下兩個(gè)安全要素的管理尤為復(fù)雜：

1.機(jī)器學(xué)習(xí)物料清單（MLBOMs）/ 人工智能物料清單（AIBOMs）

將AI集成到軟件供應(yīng)鏈中為AI模型及其組件引入了額外的跟蹤和管理層，這增加了供應(yīng)鏈操作的整體復(fù)雜性。 

與軟件物料清單（SBOMs）類似，MLBOMs或AIBOMs跟蹤AI模型的組件和依賴關(guān)系，要確保透明性、可追溯性，并能夠有效管理這些先進(jìn)系統(tǒng)的復(fù)雜性。 

這意味著AI模型的硬件和軟件方面都應(yīng)被考慮在內(nèi)，數(shù)據(jù)源、算法和相關(guān)資源都應(yīng)被仔細(xì)記錄和管理，使組織能夠更好地控制其AI驅(qū)動(dòng)的解決方案。

2.安全的CI/CD管道

對(duì)于AI開發(fā)，確保CI/CD管道的安全至關(guān)重要，以防止未經(jīng)授權(quán)的更改或惡意代碼注入，從而導(dǎo)致管理供應(yīng)鏈操作的整體復(fù)雜性增加。 

例如，徹底掃描第一方代碼至關(guān)重要，這涉及對(duì)內(nèi)部開發(fā)的代碼進(jìn)行審查，以識(shí)別漏洞并確保其遵循最佳安全實(shí)踐。實(shí)施強(qiáng)大的代碼掃描程序可以顯著增強(qiáng)AI開發(fā)過程的安全性。

由此，AI與軟件供應(yīng)鏈的深度融合帶來了新的安全風(fēng)險(xiǎn)生態(tài)系統(tǒng)，包括：

1.生成式 AI 毒化

惡意行為者利用 AI 向開源訓(xùn)練數(shù)據(jù)集中注入欺騙性數(shù)據(jù)、漏洞或后門。這會(huì)危害依賴這些數(shù)據(jù)集的下游 AI 系統(tǒng)。

2.AI 生成的拼寫欺詐

AI 自動(dòng)創(chuàng)建與合法開源包名稱幾乎相同的虛假包（例如，“numpy”與“num-py”），欺騙開發(fā)者安裝惡意軟件。

3.分發(fā)惡意軟件的虛假項(xiàng)目

AI 生成看似真實(shí)的代碼庫或庫，其中包含隱藏的惡意軟件。這些惡意軟件能夠繞過傳統(tǒng)的安全檢查，例如在利用 Hugging Face 等平臺(tái)的攻擊中。

4.AI 增強(qiáng)的網(wǎng)絡(luò)釣魚

攻擊者使用 AI 制作針對(duì)供應(yīng)鏈利益相關(guān)者的可信網(wǎng)絡(luò)釣魚電子郵件，竊取憑證以滲透開發(fā)管道。

融入AI的軟件供應(yīng)鏈安全挑戰(zhàn)

AI 與軟件供應(yīng)鏈深度融合后，形成了新的安全風(fēng)險(xiǎn)生態(tài)系統(tǒng)。

1.AI是開發(fā)者

AI缺乏人類工程師的經(jīng)驗(yàn)和判斷力，可能引入新的安全漏洞。

分析機(jī)構(gòu)Gartner預(yù)測，到2028年，75%的企業(yè)軟件工程師將使用AI代碼助手。這代表著對(duì)AI自動(dòng)化軟件工程任務(wù)的依賴日益增長。AI編碼工具市場預(yù)計(jì)從2024年的43億美元增長到2028年的126億美元。

雖然這種驚人的增長無疑會(huì)催生創(chuàng)新，但也會(huì)給軟件生產(chǎn)和消費(fèi)組織帶來重大的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。這是因?yàn)锳I工具本身缺乏人類軟件工程師所具備的經(jīng)驗(yàn)、背景和意識(shí)。人類軟件團(tuán)隊(duì)在區(qū)分高質(zhì)量和低質(zhì)量代碼以及識(shí)別不安全組件方面至關(guān)重要。

AI編碼助手是在包含已知和已修補(bǔ)漏洞、過時(shí)加密算法和過時(shí)開源組件的代碼上進(jìn)行訓(xùn)練的。更糟糕的是，這些AI助手可能產(chǎn)生傳統(tǒng)應(yīng)用程序安全測試(AST)工具難以檢測的新軟件供應(yīng)鏈安全風(fēng)險(xiǎn)。例如數(shù)據(jù)中毒，可能會(huì)破壞AI編碼工具依賴的學(xué)習(xí)模型。人類的監(jiān)督、背景理解和檢查在解決這些問題上一直至關(guān)重要。

對(duì)這些工具的依賴增加印證了微軟的警告：生成式AI系統(tǒng)可能會(huì)創(chuàng)造并放大安全風(fēng)險(xiǎn)。

2.AI是模型

ML模型數(shù)量爆炸性增長，這些模型本身可能成為被攻擊的目標(biāo)。

機(jī)器學(xué)習(xí)(ML)模型非常強(qiáng)大，大語言模型(LLM)和生成式AI在AI系統(tǒng)和工具中的使用和應(yīng)用已呈爆炸式增長。我們從領(lǐng)先的ML模型共享平臺(tái)Hugging Face的增長中看到這一點(diǎn)，該平臺(tái)在2024年9月達(dá)到了100萬個(gè)ML模型，而2023年僅有30萬個(gè)。像Hugging Face這樣的平臺(tái)由于提供了工具、服務(wù)和在線社區(qū)，促進(jìn)了ML模型的開發(fā)、修改和部署，正在變得越來越普遍。

然而，就像任何其他基于軟件的產(chǎn)品或組件一樣，ML模型及其所在平臺(tái)也面臨被惡意行為者破壞或操縱的風(fēng)險(xiǎn)。攻擊者可以利用這項(xiàng)技術(shù)執(zhí)行惡意命令、竊取或破壞敏感數(shù)據(jù)、進(jìn)行間諜活動(dòng)，并破壞組織的系統(tǒng)。

3.AI是攻擊者

威脅行為者正在利用AI技術(shù)增強(qiáng)攻擊能力。

威脅行為者已經(jīng)開始采用LLM和GenAI來加強(qiáng)和自動(dòng)化他們的攻擊。生產(chǎn)或使用企業(yè)軟件的組織必須意識(shí)到這些由AI驅(qū)動(dòng)的威脅，并了解如何減輕它們。

已經(jīng)有安全公司證明AI生成的惡意軟件是真實(shí)存在的。雖然目前形式的生成式AI尚未熟練到能從頭創(chuàng)建惡意軟件的程度，但它可以修改現(xiàn)有惡意軟件樣本，使其更難被檢測和緩解。例如，惠普威脅研究人員發(fā)現(xiàn)了一個(gè)使用VBScript和JavaScript傳播AsyncRAT惡意軟件的活動(dòng)，該團(tuán)隊(duì)得出結(jié)論認(rèn)為這是在生成式AI的協(xié)助下編寫的。

同時(shí)，LLM在代碼掃描方面已證明非常高效——使軟件生產(chǎn)商比以往任何時(shí)候都更容易分析代碼中的安全漏洞和其他缺陷。不幸的是，威脅行為者同樣能夠使用這種代碼掃描技術(shù)來發(fā)動(dòng)毀滅性的軟件供應(yīng)鏈攻擊。這已經(jīng)體現(xiàn)在攻擊者如何利用LLM掃描開源軟件存儲(chǔ)庫，尋找可以利用的缺陷。

AI保護(hù)軟件供應(yīng)鏈的七種方式

AI已成為軟件開發(fā)者、產(chǎn)品和攻擊者，這可能會(huì)讓組織不堪重負(fù)。然而，盡管AI對(duì)供應(yīng)鏈安全構(gòu)成挑戰(zhàn)并增加了復(fù)雜性，但它也可以增強(qiáng)供應(yīng)鏈安全。以下是AI如何保護(hù)供應(yīng)鏈的七個(gè)方式及其好處和局限性。

圖片

融合AI的軟件供應(yīng)鏈安全未來 

在軟件供應(yīng)鏈安全中使用AI帶來了創(chuàng)新的機(jī)會(huì)和挑戰(zhàn)，隨著行業(yè)的發(fā)展，至關(guān)重要的是要保持對(duì)即將出現(xiàn)的趨勢的敏銳洞察，并準(zhǔn)備應(yīng)對(duì)不斷變化的安全威脅。

1.新的AI攻擊向量

不斷發(fā)展的AI攻擊向量將針對(duì)軟件、AI模型及其訓(xùn)練數(shù)據(jù)。威脅行為者將利用AI系統(tǒng)中的漏洞，從毒化訓(xùn)練數(shù)據(jù)到對(duì)AI模型的對(duì)抗性攻擊，帶來新的挑戰(zhàn)。

2.新的AI驅(qū)動(dòng)軟件以保護(hù)供應(yīng)鏈

未來將開發(fā)專門設(shè)計(jì)用于保護(hù)供應(yīng)鏈的先進(jìn)AI驅(qū)動(dòng)安全解決方案。這些解決方案將利用AI進(jìn)行實(shí)時(shí)威脅檢測、自動(dòng)化事件響應(yīng)和全面的漏洞評(píng)估。

3.推動(dòng)AIBOMs的采用

組織將越來越多地采用人工智能物料清單，以確保AI模型組件和依賴關(guān)系的透明性和問責(zé)制。AIBOMs將成為跟蹤AI模型的來源、依賴關(guān)系和潛在漏洞的標(biāo)準(zhǔn)做法，從而增強(qiáng)其整體安全性和可信度。

AI的雙重用途特性正在重新定義安全實(shí)踐。隨著軟件復(fù)雜性的爆炸式增長，企業(yè)安全團(tuán)隊(duì)需要一種強(qiáng)大、現(xiàn)代且全面的軟件供應(yīng)鏈安全防護(hù)方法，采用開發(fā)AI驅(qū)動(dòng)的安全工具和采用透明度措施。這是我們阻止即將到來的AI生成攻擊的唯一方法。