墨爾本大學(xué)和倫敦帝國(guó)理工學(xué)院的研究人員開發(fā)了一種利用大語言模型(LLM)改進(jìn)事件響應(yīng)規(guī)劃的方法，重點(diǎn)在于降低產(chǎn)生幻覺的風(fēng)險(xiǎn)，該方法采用經(jīng)過微調(diào)的小型大語言模型，并結(jié)合檢索增強(qiáng)生成技術(shù)和決策理論規(guī)劃。

他們所針對(duì)的問題十分常見：目前事件響應(yīng)在很大程度上仍依賴人工操作，速度緩慢，且依賴專家配置的應(yīng)急預(yù)案。許多企業(yè)需要數(shù)周甚至數(shù)月才能從事件中完全恢復(fù)。雖然一些企業(yè)已嘗試使用前沿大語言模型生成響應(yīng)措施，但這些模型成本高昂，依賴第三方應(yīng)用程序接口(API)，且容易生成看似合理但實(shí)際錯(cuò)誤的指令。

論文作者之一Kim Hammar表示，該系統(tǒng)的設(shè)計(jì)避免了繁重的集成障礙。他解釋道：“從技術(shù)角度來看，我們的方法經(jīng)過精心設(shè)計(jì)，可直接集成到現(xiàn)有工作流程中，無需額外軟件或?qū)ΜF(xiàn)有系統(tǒng)進(jìn)行改造。特別是，我們的方法以原始文本形式接收日志數(shù)據(jù)和威脅信息作為輸入，這些文本無需遵循特定的語法或格式?！?/p>

三步走方法

該方法主要通過三個(gè)步驟實(shí)現(xiàn)：

• 指令微調(diào)：研究團(tuán)隊(duì)在一個(gè)包含6.8萬起歷史事件的數(shù)據(jù)集上，對(duì)一個(gè)擁有140億參數(shù)的大語言模型進(jìn)行了微調(diào)，每起事件均配有響應(yīng)計(jì)劃和推理步驟，這使模型與事件響應(yīng)的階段和目標(biāo)保持一致，而不局限于單一場(chǎng)景。
• 信息檢索：在生成計(jì)劃之前，系統(tǒng)會(huì)根據(jù)系統(tǒng)日志中發(fā)現(xiàn)的指標(biāo)，提取相關(guān)的威脅情報(bào)和漏洞數(shù)據(jù)，這使其能夠適應(yīng)新出現(xiàn)的威脅，例如在訓(xùn)練截止日期后發(fā)現(xiàn)的漏洞，并使模型的輸出基于最新信息。
• 帶幻覺過濾的規(guī)劃：系統(tǒng)不會(huì)直接執(zhí)行第一個(gè)建議的操作，而是生成多個(gè)候選操作，并利用大語言模型模擬潛在結(jié)果，然后，它會(huì)選擇預(yù)計(jì)能最快恢復(fù)的操作，利用這種前瞻性來過濾掉無法取得進(jìn)展的響應(yīng)。

Hammar表示，從用戶的角度來看，該方法可以像更具適應(yīng)性的應(yīng)急預(yù)案一樣發(fā)揮作用。他指出：“它應(yīng)該能夠集成到依賴響應(yīng)預(yù)案的現(xiàn)有工作流程中。安全操作人員應(yīng)將建議的操作視為需根據(jù)現(xiàn)有證據(jù)進(jìn)行驗(yàn)證的指導(dǎo)，而非絕對(duì)真理。”

理論與實(shí)際成果

論文提供了概率分析，表明幻覺發(fā)生的可能性是可以被限制的，如果規(guī)劃過程有更多時(shí)間和候選操作，該概率可以任意降低，這為該方法比僅依賴提示的前沿大語言模型更可靠的主張?zhí)峁┝诵问交A(chǔ)。

在實(shí)際應(yīng)用中，該方法足夠輕量，可在普通硬件上運(yùn)行，無需昂貴的API調(diào)用或?qū)Ｓ没A(chǔ)設(shè)施。作者使用公開的事件數(shù)據(jù)集，將他們的系統(tǒng)與幾種前沿大語言模型和強(qiáng)化學(xué)習(xí)基準(zhǔn)進(jìn)行了對(duì)比評(píng)估。在所有測(cè)試中，該系統(tǒng)的平均恢復(fù)時(shí)間更短，比測(cè)試中表現(xiàn)最佳的前沿模型快22%，同時(shí)還減少了無效操作和恢復(fù)失敗的情況。

Hammar表示，該系統(tǒng)的本地化、自包含特性還解決了保密性和合規(guī)性問題。他說：“我們輕量級(jí)方法的一個(gè)關(guān)鍵優(yōu)勢(shì)是，它可在本地運(yùn)行，無需依賴外部大語言模型提供商，這種靈活性降低了成本，并避免了將可能敏感的日志數(shù)據(jù)上傳到第三方大語言模型提供商的需求。”

一項(xiàng)消融研究證實(shí)，這三個(gè)步驟均有助于提升性能，其中微調(diào)和規(guī)劃帶來的改進(jìn)最大，檢索增強(qiáng)生成技術(shù)也有所幫助，盡管效果較小。

權(quán)衡與考量

盡管該方法避免了針對(duì)特定事件的重新訓(xùn)練并提高了可靠性，但也存在一定開銷。規(guī)劃步驟增加了推理時(shí)間，因?yàn)樾枰珊驮u(píng)估多個(gè)操作。作者指出，這可通過并行處理來緩解。

該方法在需要快速反應(yīng)且日志數(shù)據(jù)復(fù)雜的情況下尤為有用。Hammar描述了一個(gè)這樣的用例：“現(xiàn)在是凌晨2點(diǎn)，你的安全信息和事件管理系統(tǒng)(SIEM)檢測(cè)到了一起潛在事件。你的值班安全操作人員被呼叫，以確定具體問題、找出原因并盡快解決。我們的基于大語言模型的方法無需在儀表板之間跳轉(zhuǎn)，也無需手動(dòng)追蹤跨多個(gè)應(yīng)用和基礎(chǔ)設(shè)施層的事件，而是幫助解釋日志并建議有針對(duì)性的響應(yīng)操作?！?/p>

另一方面，他也承認(rèn)，某些場(chǎng)景下的收益可能較小。他說：“對(duì)于不需要立即采取行動(dòng)的事件，我們的方法可能收益較小。對(duì)于需要深入專家分析的高度新穎或復(fù)雜的攻擊，我們的方法可能僅在響應(yīng)的早期階段有所幫助。”

另一個(gè)關(guān)鍵點(diǎn)是，該系統(tǒng)并非旨在取代人類判斷。Hammar認(rèn)為，未來幾年人類監(jiān)督仍將至關(guān)重要。他說：“未來幾年內(nèi)完全自主的事件響應(yīng)是不現(xiàn)實(shí)的，因?yàn)槊總€(gè)人的網(wǎng)絡(luò)、攻擊、安全環(huán)境和法規(guī)都有所不同。決策支持工具正逐步接管以往手動(dòng)完成的任務(wù)，使操作人員的角色轉(zhuǎn)向指導(dǎo)和驗(yàn)證系統(tǒng)，而非篩選大量日志和安全警報(bào)。”

該團(tuán)隊(duì)已將其微調(diào)后的模型、訓(xùn)練數(shù)據(jù)、代碼和演示視頻作為開源資源發(fā)布，這有助于進(jìn)一步開展實(shí)驗(yàn)和操作試驗(yàn)。他們認(rèn)為，未來的工作包括在實(shí)際安全運(yùn)營(yíng)中心(SOC)工作流程中測(cè)試該方法、完善理論上的幻覺限制，以及擴(kuò)展規(guī)劃過程以使用更先進(jìn)的搜索技術(shù)。

如果該方法在實(shí)際操作中得到驗(yàn)證，將為安全團(tuán)隊(duì)提供一種更敏捷、更具成本效益的事件分類和遏制方式，而無需依賴昂貴的前沿大語言模型或僵化的應(yīng)急預(yù)案。