隨著 AI 聊天機(jī)器人潛力的來(lái)龍去脈繼續(xù)成為頭條新聞，圍繞 ChatGPT 的狂熱仍然處于狂熱狀態(tài)。引起安全領(lǐng)域許多人注意的一個(gè)問(wèn)題是，該技術(shù)對(duì)敏感業(yè)務(wù)數(shù)據(jù)的攝取是否會(huì)給組織帶來(lái)風(fēng)險(xiǎn)。有人擔(dān)心，如果有人輸入敏感信息——季度報(bào)告、內(nèi)部演示材料、銷(xiāo)售數(shù)字等——并要求 ChatGPT 在其周?chē)鷷?shū)寫(xiě)文本，那么任何人只要向 ChatGPT 詢(xún)問(wèn)就可以獲得該公司的信息之后。

?其影響可能是深遠(yuǎn)的：想象一下，正在處理一個(gè)內(nèi)部演示文稿，其中包含新的公司數(shù)據(jù)，揭示了一個(gè)要在董事會(huì)會(huì)議上討論的公司問(wèn)題。將這些專(zhuān)有信息泄露出去可能會(huì)破壞股價(jià)、消費(fèi)者態(tài)度和客戶信心。更糟糕的是，泄露的議程上的法律項(xiàng)目可能會(huì)使公司承擔(dān)真正的責(zé)任。但是這些事情中的任何一個(gè)真的可以?xún)H僅通過(guò)放入聊天機(jī)器人中的東西而發(fā)生嗎？

研究公司 Cyberhaven 在 2 月份探索了這一概念，重點(diǎn)關(guān)注 OpenAI 如何使用人們輸入 ChatGPT 的內(nèi)容作為訓(xùn)練數(shù)據(jù)來(lái)改進(jìn)其技術(shù)，輸出與輸入的內(nèi)容非常相似。Cyberhaven 聲稱(chēng)，如果第三方根據(jù)高管提供的信息向 ChatGPT 詢(xún)問(wèn)某些問(wèn)題，輸入 ChatGPT 的機(jī)密數(shù)據(jù)可能會(huì)泄露給第三方。

ChatGPT 不存儲(chǔ)用戶的輸入數(shù)據(jù)——是嗎？

英國(guó)國(guó)家網(wǎng)絡(luò)安全中心 (NCSC)在 3 月份分享了對(duì)此事的進(jìn)一步見(jiàn)解，指出 ChatGPT 和其他大型語(yǔ)言模型 (LLM) 目前不會(huì)自動(dòng)將查詢(xún)中的信息添加到模型中供其他人查詢(xún)。也就是說(shuō)，在查詢(xún)中包含信息不會(huì)導(dǎo)致將潛在的私有數(shù)據(jù)合并到 LLM 中。“但是，查詢(xún)將對(duì)提供 LLM 的組織可見(jiàn)（在 ChatGPT 的情況下，對(duì) OpenAI 也是如此），”它寫(xiě)道。

“這些查詢(xún)已被存儲(chǔ)，幾乎肯定會(huì)在某個(gè)時(shí)候用于開(kāi)發(fā) LLM 服務(wù)或模型。這可能意味著 LLM 提供商（或其合作伙伴/承包商）能夠讀取查詢(xún)，并可能以某種方式將它們合并到未來(lái)的版本中，”它補(bǔ)充道。NCSC 寫(xiě)道，另一個(gè)風(fēng)險(xiǎn)隨著越來(lái)越多的組織生產(chǎn)和使用 LLM 而增加，即在線存儲(chǔ)的查詢(xún)可能被黑客攻擊、泄露或意外公開(kāi)。

最終，對(duì)于 ChatGPT 輸入和使用的敏感業(yè)務(wù)數(shù)據(jù)的擔(dān)憂是有真正原因的，盡管風(fēng)險(xiǎn)可能不像某些頭條新聞所描述的那樣普遍。

將敏感數(shù)據(jù)輸入 ChatGPT 的可能風(fēng)險(xiǎn)

法學(xué)碩士表現(xiàn)出一種稱(chēng)為情境學(xué)習(xí)的涌現(xiàn)行為。在會(huì)話期間，當(dāng)模型接收到輸入時(shí)，它可以根據(jù)這些輸入中包含的上下文來(lái)執(zhí)行任務(wù)?！斑@很可能是人們擔(dān)心信息泄露時(shí)所指的現(xiàn)象。然而，來(lái)自一個(gè)用戶會(huì)話的信息不可能泄露給另一個(gè)用戶，”WithSecure 的高級(jí)研究員 Andy Patel 告訴 CSO?！傲硪粋€(gè)擔(dān)憂是，輸入到 ChatGPT 界面的提示將被收集并用于未來(lái)的訓(xùn)練數(shù)據(jù)。”

帕特爾說(shuō)，雖然擔(dān)心聊天機(jī)器人會(huì)攝取然后反芻敏感信息是有道理的，但需要訓(xùn)練一個(gè)新模型來(lái)整合這些數(shù)據(jù)。訓(xùn)練 LLM 是一個(gè)昂貴且漫長(zhǎng)的過(guò)程，他說(shuō)如果在不久的將來(lái)用 ChatGPT 收集的數(shù)據(jù)訓(xùn)練模型，他會(huì)感到驚訝?！叭绻罱K創(chuàng)建了一個(gè)包含收集的 ChatGPT 提示的新模型，我們的恐懼就會(huì)轉(zhuǎn)向成員推理攻擊。此類(lèi)攻擊有可能暴露訓(xùn)練數(shù)據(jù)中的信用卡號(hào)或個(gè)人信息。但是，沒(méi)有針對(duì)支持 ChatGPT 和其他類(lèi)似系統(tǒng)的 LLM 證明成員推理攻擊?！?nbsp;這意味著未來(lái)的模型極不可能容易受到成員推理攻擊。

與 AI 的第三方鏈接可能會(huì)暴露數(shù)據(jù)

Orange Cyberdefense 的高級(jí)安全研究員 Wicus Ross 表示，問(wèn)題最有可能是由未明確聲明其隱私政策的外部提供商引起的，因此將它們與其他安全工具和平臺(tái)一起使用可能會(huì)使任何隱私數(shù)據(jù)面臨風(fēng)險(xiǎn)?！癝lack 和 Microsoft Teams 等 SaaS 平臺(tái)具有清晰的數(shù)據(jù)和處理邊界，數(shù)據(jù)暴露給第三方的風(fēng)險(xiǎn)較低。然而，如果使用需要與用戶交互的第三方插件或機(jī)器人來(lái)增強(qiáng)服務(wù)，無(wú)論它們是否與人工智能相關(guān)聯(lián)，這些清晰的界限很快就會(huì)變得模糊，”他說(shuō)?！霸跊](méi)有第三方處理者保證信息不會(huì)泄露的明確聲明的情況下，你必須假設(shè)它不再是私人的?！?/p>

Netskope 的 EMEA 首席信息安全官 Neil Thacker 告訴 CSO，除了普通用戶共享的敏感數(shù)據(jù)外，公司還應(yīng)該意識(shí)到提示注入攻擊，這些攻擊可能會(huì)泄露開(kāi)發(fā)人員在調(diào)整工具時(shí)提供的先前指令，或者使其忽略先前編程的指令?！白罱睦影?Twitter 惡作劇者改變了機(jī)器人的行為和Bing Chat 的問(wèn)題，研究人員在其中找到了一種方法，可以讓 ChatGPT 披露之前可能由微軟編寫(xiě)的應(yīng)該隱藏的指令?！?/p>

控制提交給 ChatGPT 的數(shù)據(jù)

據(jù) Cyberhaven 稱(chēng)，敏感數(shù)據(jù)目前占員工粘貼到 ChatGPT 的內(nèi)容的 11%，平均每家公司每周向 ChatGPT 泄露敏感數(shù)據(jù)數(shù)百次?！癈hatGPT 正在從炒作走向現(xiàn)實(shí)世界，組織正在嘗試在其業(yè)務(wù)中實(shí)際實(shí)施以加入其他基于 ML/AI 的工具，但需要謹(jǐn)慎行事，尤其是在共享機(jī)密信息時(shí)，”薩克說(shuō)?！皯?yīng)該考慮數(shù)據(jù)所有權(quán)的各個(gè)方面，以及如果托管數(shù)據(jù)的組織遭到破壞會(huì)產(chǎn)生什么潛在影響。作為一項(xiàng)簡(jiǎn)單的練習(xí)，信息安全專(zhuān)業(yè)人員至少應(yīng)該能夠識(shí)別在這些服務(wù)遭到破壞時(shí)可能訪問(wèn)的數(shù)據(jù)類(lèi)別?！?/p>

最終，企業(yè)有責(zé)任確保其用戶充分了解哪些信息應(yīng)該和不應(yīng)該向 ChatGPT 披露。NCSC 表示，組織應(yīng)該非常小心他們選擇在提示中提交的數(shù)據(jù)：“你應(yīng)該確保那些想要嘗試 LLM 的人能夠，但不會(huì)將組織數(shù)據(jù)置于風(fēng)險(xiǎn)之中?！?/p>

警告員工聊天機(jī)器人的潛在危險(xiǎn)

然而，Cyberhaven 警告說(shuō)，識(shí)別和控制員工提交給 ChatGPT 的數(shù)據(jù)并非沒(méi)有挑戰(zhàn)?！爱?dāng)員工將公司數(shù)據(jù)輸入 ChatGPT 時(shí)，他們不會(huì)上傳文件，而是將內(nèi)容復(fù)制并粘貼到他們的網(wǎng)絡(luò)瀏覽器中。許多安全產(chǎn)品都是圍繞保護(hù)文件（標(biāo)記為機(jī)密）不被上傳而設(shè)計(jì)的，但是一旦內(nèi)容被從文件中復(fù)制出來(lái)，他們就無(wú)法對(duì)其進(jìn)行跟蹤，”它寫(xiě)道。此外，Cyberhaven 表示，進(jìn)入 ChatGPT 的公司數(shù)據(jù)通常不包含安全工具尋找的可識(shí)別模式，例如信用卡號(hào)或社會(huì)保險(xiǎn)號(hào)?！霸诓涣私馄渖舷挛牡那闆r下，今天的安全工具無(wú)法區(qū)分輸入自助餐廳菜單的人和公司的并購(gòu)計(jì)劃。”

Thacker 說(shuō)，為了提高可見(jiàn)性，組織應(yīng)該在其安全 Web 網(wǎng)關(guān) (SWG) 上實(shí)施策略來(lái)識(shí)別人工智能工具的使用，并且還可以應(yīng)用數(shù)據(jù)丟失防護(hù) (DLP) 策略來(lái)識(shí)別哪些數(shù)據(jù)被提交給這些工具。

Jamf 投資組合戰(zhàn)略副總裁 Michael Covington 說(shuō)，組織應(yīng)該更新信息保護(hù)政策，以確?？梢越邮艿臋C(jī)密數(shù)據(jù)處理程序的應(yīng)用程序類(lèi)型得到妥善記錄?！翱刂菩畔⒘魇加谟袚?jù)可查且知情的政策，”他說(shuō)?！按送?，組織應(yīng)該探索如何利用這些新技術(shù)以深思熟慮的方式改善他們的業(yè)務(wù)。不要因?yàn)榭謶趾筒淮_定性而回避這些服務(wù)，而是要投入一些人員來(lái)探索顯示潛力的新工具，這樣您就可以及早了解風(fēng)險(xiǎn)，并確保在早期的最終用戶采用者想要開(kāi)始使用這些工具時(shí)提供足夠的保護(hù)”