Black Hat USA 2024:微軟AI助手Copilot安全隱患曝光
在Black Hat USA 2024,一位研究人員披露了微軟AI助手Copilot存在的多個(gè)安全隱患,攻擊者能夠借此漏洞竊取敏感數(shù)據(jù)和企業(yè)憑證。
微軟聲稱(chēng),通過(guò)將任務(wù)委派給AI助手Copilot,每天可以節(jié)省數(shù)百小時(shí)的工作時(shí)間。Copilot是微軟在2023年2月推出的AI驅(qū)動(dòng)助手,它允許企業(yè)構(gòu)建和訓(xùn)練自己的AI助手,使得微軟應(yīng)用程序中的任務(wù)自動(dòng)化。Copilot基于大型語(yǔ)言模型,能夠接受文本、圖像和語(yǔ)音輸入,并在新的Windows 11 PC和Copilot PC上運(yùn)行。
然而,使用AI技術(shù)始終伴隨著風(fēng)險(xiǎn)。隨著關(guān)于大型科技公司如何處理用戶(hù)數(shù)據(jù)的討論愈發(fā)激烈,微軟堅(jiān)稱(chēng)Copilot提供企業(yè)級(jí)安全保護(hù),確保用戶(hù)數(shù)據(jù)不會(huì)被用于AI模型的訓(xùn)練。
盡管微軟做出了這樣的承諾,但網(wǎng)絡(luò)安全研究員Micahel Bargury卻在Black Hat USA 2024上展示了Copilot Studio的機(jī)器人如何輕松地繞過(guò)現(xiàn)有防護(hù)措施,竊取企業(yè)敏感數(shù)據(jù)。
泄露不僅可能,而且很可能
根據(jù)研究人員的說(shuō)法,不安全的默認(rèn)設(shè)置、過(guò)度寬松的插件和過(guò)于樂(lè)觀的設(shè)計(jì)思維,使得數(shù)據(jù)泄露變得“很可能”。因?yàn)橛脩?hù)創(chuàng)建的大多數(shù) Copilot Studio 機(jī)器人都不安全,很容易在網(wǎng)絡(luò)上被發(fā)現(xiàn),所以必須將它們作為應(yīng)用程序安全計(jì)劃的一部分,以確保敏感數(shù)據(jù)不會(huì)泄露。
而且,Copilot 的界面和系統(tǒng)并不能防止錯(cuò)誤和惡意攻擊。
為此,Bargury創(chuàng)建了一個(gè)名為CopilotHunter的工具,它可以?huà)呙韫_(kāi)可訪(fǎng)問(wèn)的Copilot,并利用模糊測(cè)試和生成性AI技術(shù)來(lái)濫用它們,以提取敏感的企業(yè)數(shù)據(jù)。研究結(jié)果顯示,針對(duì)數(shù)千個(gè)可訪(fǎng)問(wèn)的機(jī)器人進(jìn)行攻擊,揭示了惡意行為者可能利用的敏感數(shù)據(jù)和企業(yè)憑證。
Bargury表示,攻擊者可以遠(yuǎn)程控制你與Copilot的交互,使Copilot代表你執(zhí)行任何操作,操縱你并誤導(dǎo)你的決策,甚至完全控制Copilot向你發(fā)送的每一個(gè)字。
利用微軟Copilot的方法
研究人員指出,創(chuàng)建Copilot的初始步驟就存在安全隱患。用戶(hù)在創(chuàng)建自己的Copilot時(shí),需要選擇一個(gè)“知識(shí)”來(lái)源來(lái)訓(xùn)練AI模型。
這些來(lái)源可能包括公共網(wǎng)站、上傳的文件、SharePoint、OneDrive或云數(shù)據(jù)庫(kù)Dataverse。Bargury警告說(shuō),即使是在這個(gè)階段,也存在潛在的安全風(fēng)險(xiǎn),例如上傳的文件可能包含隱藏的元數(shù)據(jù),或者敏感數(shù)據(jù)可能被不當(dāng)共享。
此外,使用SharePoint、OneDrive或Dataverse作為輸入源也可能引發(fā)數(shù)據(jù)過(guò)度共享的問(wèn)題。盡管數(shù)據(jù)存儲(chǔ)在公司的云環(huán)境中,但用戶(hù)授權(quán)Copilot訪(fǎng)問(wèn)所有子頁(yè)面,這可能導(dǎo)致數(shù)據(jù)泄露。
Bargury還提到,Copilot的“主題”功能也可能成為安全問(wèn)題。主題定義了如何與AI進(jìn)行對(duì)話(huà),一個(gè)主題包含一組觸發(fā)短語(yǔ),即用戶(hù)在討論特定問(wèn)題時(shí)可能會(huì)使用的短語(yǔ)、關(guān)鍵詞和問(wèn)題,觸發(fā)短語(yǔ)有助于Copilot對(duì)問(wèn)題做出恰當(dāng)?shù)姆磻?yīng)。
除了16個(gè)預(yù)設(shè)的主題外,用戶(hù)還可以創(chuàng)建自己的主題來(lái)定制Copilot,但名稱(chēng)相似的主題可能會(huì)影響執(zhí)行路徑。
關(guān)于硬編碼憑證
某些連接和流程可能包含硬編碼憑證。硬編碼意味著將用戶(hù)名、密碼、API密鑰或其他敏感信息等驗(yàn)證數(shù)據(jù)直接嵌入到軟件或應(yīng)用程序的源代碼中。
雖然這是一種不安全的網(wǎng)絡(luò)安全做法,但這種情況仍然可能發(fā)生。如果這些憑證被輸入到AI模型中,情況可能會(huì)變得更加棘手。AI模型可能會(huì)分析這些資源并“學(xué)會(huì)”憑證,在Copilot的回答中提供硬編碼的憑證。
另一個(gè)潛在的薄弱點(diǎn)是通道和身份驗(yàn)證。目前,Copilot的默認(rèn)身份驗(yàn)證設(shè)置為“Teams”。然而,"無(wú)身份驗(yàn)證 "選項(xiàng)在界面中只需點(diǎn)擊一下即可完成,這很容易誘使用戶(hù)疏忽。
Bargury強(qiáng)調(diào),賦予AI數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限可以使其變得有用,但同時(shí)也使其變得脆弱。每個(gè)組織都需要進(jìn)行風(fēng)險(xiǎn)評(píng)估找出問(wèn)題所在,確保安全團(tuán)隊(duì)密切監(jiān)控這些AI助手的交互。特別是在使用Copilot Studio構(gòu)建自定義助手時(shí),不應(yīng)僅僅依賴(lài)開(kāi)發(fā)人員或公民開(kāi)發(fā)者的決定,而應(yīng)與安全團(tuán)隊(duì)共同作出決策。
參考來(lái)源:https://cybernews.com/security/black-hat-microsoft-copilot-data-leak/