企業(yè)落地思考:威脅情報的現(xiàn)狀、種類以及應用
威脅情報平臺提供與惡意(攻擊者)和(安全)威脅相關(guān)的情報,主要是域名、IP和文件以及關(guān)聯(lián)關(guān)系等信息。威脅情報之于企業(yè)安全運營者,提升的是兩個方面:響應能力和感知能力。對于威脅情報的分類,最為廣泛傳播是Gartner定義的運營情報、戰(zhàn)術(shù)情報和戰(zhàn)略情報。時效性和多源沖突是威脅情報的重要特點。而情報的融合和置信度計算是一個比較龐大的命題……
一、概述
1. 何為威脅情報
威脅情報(Threat Intelligence)的市場教育已進行了許多年,眾多公眾號對其定義、應用場景和價值已做了詳盡的介紹,筆者在此不再贅述,僅試圖從一個企業(yè)安全運營者角度理解威脅情報。
(1) 威脅情報簡介及市場淺析
威脅情報價值:北美和英國公司的第二個年度研究報告
(2) 使用威脅情報調(diào)查攻擊者
各個安全情報廠商的情報平臺白皮書是安全運營者應用威脅情報前必讀之物,而詞云圖則是把握中心思想的有效工具。因而筆者從各個白皮書中的文字生成如下詞云圖,可以看到:
- 一級大詞:信息
- 二級大詞:情報、關(guān)聯(lián)、域名、IP和文件
- 三級大詞:查詢、惡意和威脅
看圖說話構(gòu)造中心思想:
威脅情報平臺提供這樣一種查詢服務(wù),提供與惡意(攻擊者)和(安全)威脅相關(guān)的情報,主要是域名、IP和文件以及關(guān)聯(lián)關(guān)系等信息。
情報詞云
筆者認為,威脅情報之于企業(yè)安全運營者,提升的是兩個方面:響應能力和感知能力。威脅情報的出現(xiàn)對于企業(yè)安全,一方面隨著安全盒子能力逐漸成熟和X86服務(wù)器軟實力在去IOE浪潮中的提升,企業(yè)在檢測部署上有了更多的選擇,通過互聯(lián)互通和快速共享更新威脅信息,企業(yè)可以迅速聚焦威脅和數(shù)據(jù)本身,提升自身的響應速度、檢測效率,以及整體人力投入產(chǎn)出比;另一方面,威脅情報作為企業(yè)態(tài)勢感知的有效數(shù)據(jù)支撐,使得企業(yè)能夠從威脅的角度評估自身資產(chǎn)和員工的行為風險,同時情報平臺海量關(guān)聯(lián)數(shù)據(jù),能夠彌補企業(yè)對外部威脅的盲區(qū),知己知彼。
2. 現(xiàn)狀
威脅情報這個名字誕生時間無從考證了,各大廠商、機構(gòu)甚至個人紛紛推出自己的情報數(shù)據(jù)及平臺,來輸出自有情報和各個情報數(shù)據(jù)源的數(shù)據(jù)的融合結(jié)果。
圖1.2 CriticalStack情報融合平臺
情報標準也有眾多機構(gòu)進行推進(STIX, MAEC, Cybox, OpenIOC等等),光從STIX標準來看,誕生已有三年,現(xiàn)已推進到2.0版本,格式也已從臃腫的XML轉(zhuǎn)換到更為實用、好解析的JSON。
圖1.3 STIX的commit狀況
針對情報標準,個人將其不成熟地劃分為六大邏輯分層:對象描述層、行為關(guān)系層、事件層、戰(zhàn)術(shù)層、敵對描述層和應急響應層。從變化來看,主要有三大變化:通俗化,如原來軍事名詞TTP(Tactics, Techniques, and Procedures)替換為更通俗易懂的Attack Pattern,字段規(guī)劃也更為簡單清晰;具化,如戰(zhàn)術(shù)層中專門提出了最為通用的攻擊手段Malware,對象描述層中添加了Identity等對象,方便描述組織/個人;實戰(zhàn)化,如應急響應層中添加了Sighting等對象,使用者更容易根據(jù)情報和事件的關(guān)聯(lián)關(guān)系執(zhí)行不同的響應流程。
圖1.4 情報標準邏輯分層
一個(潛在)行業(yè)標準的演進往往可看出行業(yè)應用者關(guān)注點的變化,從一開始的“有數(shù)據(jù)”的階段(能查、能看、滿足溯源需求),到“用數(shù)據(jù)”的階段,威脅情報在信息安全行業(yè)的應用已到了關(guān)注實戰(zhàn)/實時應用和響應效果的階段。
二、威脅情報種類
對于威脅情報的分類,業(yè)界也有眾多定義,最為廣泛傳播是Gartner定義的運營情報、戰(zhàn)術(shù)情報和戰(zhàn)略情報。筆者在此并不介紹大而全的分類標準,僅從實用性角度和自身經(jīng)驗出發(fā),介紹運營情報里面最為常用的四種情報分類:基礎(chǔ)情報、威脅對象情報、IOC情報和事件情報。
1. 基礎(chǔ)情報
一言以概之,基礎(chǔ)情報就是這個網(wǎng)絡(luò)空間對象(IP/域名/郵箱/SSL證書/文件)是啥,誰擁有它,誰使用它。具體到基礎(chǔ)數(shù)據(jù)展示則包含開放端口/服務(wù)/指紋、WHOIS/ASN、PDNS、地理位置信息等,彌補安全運營者對公網(wǎng)資產(chǎn)的的感知缺口。
圖2.1 情報平臺中的基礎(chǔ)情報樣例
2. 威脅對象情報
所謂威脅對象情報則是提供和威脅相關(guān)的對象信息(IP/域名/郵箱/SSL證書/文件),可理解為提供“犯罪分子”的“犯罪記錄”(監(jiān)控歷史),“相關(guān)家庭關(guān)系”(相關(guān)域名,相關(guān)漏洞,相關(guān)文件等),“社會信用”(威脅評分,黑名單命中狀況,惡意標記)等信息。
圖2.2 情報平臺中的威脅對象情報
3. IOC情報
IOC(Indicator of compromise)意為威脅指示器,通常指的是在檢測或取證中,具有高置信度的威脅對象或特征信息。企業(yè)側(cè)的流量檢測或主機檢測設(shè)備,通過機讀格式(OpenIOC,STIX或私有格式)消費該類情報。
圖2.3 企業(yè)側(cè)平臺的IOC情報
4. 事件情報
事件情報則是綜合各種情報信息,結(jié)合相關(guān)事件描述,告訴安全運營者外部威脅概況和安全事件詳情,進而讓安全運營者對當前熱點安全事件進行針對性防護。
圖2.4 情報平臺中的事件情報
圖2.5 企業(yè)側(cè)平臺中的事件情報
三、情報沖突與時效性
1. 時效性
時效性強是情報的重要特點。從筆者之前對多個開源情報的收集分析中嘗試一窺,75%的惡意IP情報持續(xù)時間在5天內(nèi),平均每天6668個新增IP IOC(部分外部采集源)。開源情報存在兩個問題:置信度問題和時效性問題。置信度問題下一小節(jié)詳述,先說時效性問題。許多開源情報往往并沒有標注持續(xù)時間,僅標記生成時間。很多都是每天一個列表,應用者只知道開源情報平臺什么時候發(fā)現(xiàn)該惡意對象,并不知道該對象是否持續(xù)作惡。情報的域名擁有者、IP使用者和其上的業(yè)務(wù),隨著時間的推移,可能產(chǎn)生變化,黑IP會變成白IP。過時或失真的情報會在實際使用中給應急處置帶來大量的垃圾告警,給安全管理人員造成困擾。因而,光靠采集外部情報進行威脅情報平臺建設(shè)往往有著數(shù)據(jù)有效性上的質(zhì)疑。擁有盒子產(chǎn)品的情報平臺廠商可以嘗試從基礎(chǔ)流量和自有告警數(shù)據(jù)中,結(jié)合衰減算法,對情報數(shù)據(jù)的時效性進行定義。
圖3.1 IP惡意情報的持續(xù)時間
圖3.2 每天新增的新IP惡意情報數(shù)量
2. 多源情報沖突
還是相同的開源情報數(shù)據(jù),可以看到57%的惡意IP情報被標記多個類型或被多個情報源標記。三人成虎的方法往往成為業(yè)界的基本做法,即多個來源說一個IP是惡意的,它就更惡意(惡意置信度或威脅指數(shù)上升),但其實這里有個現(xiàn)實的邏輯陷阱:由于無從考證開源情報源的基礎(chǔ)數(shù)據(jù)來源,所以無法得知各個情報源之間是否有相互“抄襲”的狀況。如果單純?nèi)顺苫?,則很有可能產(chǎn)生循環(huán)論證的后果。因而開源情報和自有設(shè)備流量/告警進行綜合比對,是一個可信情報平臺必不可少的數(shù)據(jù)分析流程。
圖3.3 多源多標簽標記
同時,開源情報不僅有黑情報,還有白IP情報,業(yè)界往往把不同維度上訪問量高的IP和域名作為可信的白名單,例如思科的Umbrella Popularity List和Alexa的Top1m List。如果將域名對應的Alexa排名賦予其指向的IP,然后和黑名單IP關(guān)聯(lián)比較,可以看出,即使強如Alexa排名前一百的IP,沖突數(shù)量也有數(shù)百。在筆者的經(jīng)驗中,企業(yè)外發(fā)流量往往70%是訪問Alexa排名前一百萬的。這就意味著如果拿開源情報在企業(yè)實時流量中匹配會產(chǎn)生大量的誤報。Piz0n在Wo~ 反情報也提到了黑產(chǎn)刷Alexa排名的情況。下圖縱軸是沖突數(shù)量,橫軸的Alexa的排名區(qū)間。
圖3.4 Alexa排名區(qū)間與沖突
筆者同時選取一段時間的開源情報和思科的Umbrella Popularity List進行交叉比對,同樣發(fā)現(xiàn)許多沖突的狀況。其實,拿Alexa的名單和思科的名單作為白名單,其中有個偷換概念的行為,即將“多人(IP)訪問”替換成了“可信”,然而統(tǒng)計學的“廣泛”的概念并不意味著安全可信,只能說是類似“你如果中招了,你不是唯一一個”的心里安慰。下圖縱軸是沖突數(shù)量,橫軸是不同的情報源。
圖3.5 不同情報源黑名單和思科的Umbrella Popularity List名單對比
因此,情報的融合和置信度計算是一個比較龐大的命題,且并不可能成為一個純數(shù)學和證據(jù)計算的自動化過程,而是整個威脅情報團隊持續(xù)運營的過程。安全自動化里面的“臟”秘密也提到安全自動化情報的作用是“指數(shù)級提升防御強度,還能減輕安全團隊負擔,讓他們解放出來,持續(xù)關(guān)注自身優(yōu)先事務(wù)”。對于可信情報的輸出,外部情報、樣本文件行為和自有設(shè)備告警往往只能成為觸發(fā)融合驗證工作流的引子,算法和自動化流程做的只能做到基礎(chǔ)的排序?qū)W習和推薦功能,最終保障人工驗證的效率和情報應用覆蓋度。強大而靠譜的情報運營人員和安全研究人員才是可信情報的“定海神針”。
四、總結(jié)
本文介紹了威脅情報對于企業(yè)安全運營者的意義,相關(guān)種類,分享了情報體系建設(shè)中的關(guān)鍵問題和我們嘗試的解決方案,希望能為讀者帶來直觀的認識,引發(fā)落地應用的思考。
【本文是51CTO專欄作者“綠盟科技博客”的原創(chuàng)稿件,轉(zhuǎn)載請通過51CTO聯(lián)系原作者獲取授權(quán)】