下面我們就來看看大數(shù)據(jù)分析的技術(shù)架構(gòu)及關(guān)鍵技術(shù)吧。

大數(shù)據(jù)安全分析之大數(shù)據(jù)分析的技術(shù)架構(gòu)及關(guān)鍵技術(shù)

一、大數(shù)據(jù)分析的技術(shù)架構(gòu)

大數(shù)據(jù)安全分析總體架構(gòu)由數(shù)據(jù)采集、預處理、存儲、處理、分析計算、數(shù)據(jù)應用展示幾部分組成：

數(shù)據(jù)源

數(shù)據(jù)源是大數(shù)據(jù)分析的基礎與前提，準確高質(zhì)量的多源異構(gòu)數(shù)據(jù)是安全分析效果的保證，進行安全分析需要收集的數(shù)據(jù)源包括：

日志數(shù)據(jù)：包括設備與系統(tǒng)的日志和安全告警信息。

流量數(shù)據(jù)：網(wǎng)絡流量數(shù)據(jù)，包括Netflow數(shù)據(jù)和全流量鏡像數(shù)據(jù)。

支持數(shù)據(jù)：包括資產(chǎn)信息、賬號信息、漏洞信息和威脅情報信息等。

采集和預處理

對數(shù)據(jù)源收集的信息進行解析、標準化和豐富化處理，從而為數(shù)據(jù)分析提供高質(zhì)量的數(shù)據(jù)。

數(shù)據(jù)傳輸采集：根據(jù)不同類型的數(shù)據(jù)源，以及數(shù)據(jù)存在的狀態(tài)，采用不同的傳輸與采集技術(shù)。

數(shù)據(jù)預處理：對數(shù)據(jù)進行解析、補全、標準化操作，從而提高安全分析的可信度，降低誤報率。

數(shù)據(jù)存儲

全量存儲網(wǎng)絡中原始的網(wǎng)絡數(shù)據(jù)，使數(shù)據(jù)結(jié)果分析更加全面可信。對所有網(wǎng)絡行為數(shù)據(jù)建立索引，便于快速查詢、管理分析和舉證。

數(shù)據(jù)分析

利用關(guān)聯(lián)分析、機器學習、深度學習等技術(shù)，從海量原始數(shù)據(jù)中自動挖掘出有價值的信息，最大的發(fā)揮數(shù)據(jù)的價值。

數(shù)據(jù)應用

依據(jù)數(shù)據(jù)分析結(jié)果，實現(xiàn)安全態(tài)勢感知、安全預警、追蹤溯源等應用。

二、大數(shù)據(jù)分析的關(guān)鍵技術(shù)

數(shù)據(jù)采集與解析技術(shù)

利用日志采集器實時以非格式化或半格式化采集原始數(shù)據(jù)，根據(jù)配置的解析規(guī)則和字段補全規(guī)則，完成數(shù)據(jù)的解析與數(shù)據(jù)補全。最終將解析的數(shù)據(jù)存入大數(shù)據(jù)存儲中，以便后續(xù)進行實時或長周期的展示和統(tǒng)計分析。

大數(shù)據(jù)存儲與處理技術(shù)

大數(shù)據(jù)平臺計算處理能力達到日存儲數(shù)據(jù)超過1T，支持千億條數(shù)據(jù)的秒級處理，PB級數(shù)據(jù)管理與應用，保證高吞吐量與高數(shù)據(jù)壓縮率，為安全智能分析提供實時或者長期的關(guān)聯(lián)分析數(shù)據(jù)基礎。

關(guān)聯(lián)分析

通過關(guān)聯(lián)分析引擎對采集的實時數(shù)據(jù)流進行深度關(guān)聯(lián)分析，包括安全告警、系統(tǒng)日志、資產(chǎn)、網(wǎng)絡、漏洞等信息之間采用基于規(guī)則、基于統(tǒng)計、基于資產(chǎn)、基于情報等深度關(guān)聯(lián)分析方法，綜合分析進行安全威脅檢測、預警。

機器學習

通過機器學習和算法對大量的歷史信息和安全信息的關(guān)聯(lián)，以無監(jiān)督學習(異常檢測)為主，并有人工輔助的半監(jiān)督學習(專家、管理人員反饋)，對威脅行為進行一個長周期的分析，找出安全威脅與攻擊的異常行為和隱藏的威脅行為。