下面我們就來看看大數(shù)據(jù)分析的技術架構及關鍵技術吧。

大數(shù)據(jù)安全分析之大數(shù)據(jù)分析的技術架構及關鍵技術

一、大數(shù)據(jù)分析的技術架構

大數(shù)據(jù)安全分析總體架構由數(shù)據(jù)采集、預處理、存儲、處理、分析計算、數(shù)據(jù)應用展示幾部分組成：

數(shù)據(jù)源

數(shù)據(jù)源是大數(shù)據(jù)分析的基礎與前提，準確高質量的多源異構數(shù)據(jù)是安全分析效果的保證，進行安全分析需要收集的數(shù)據(jù)源包括：

日志數(shù)據(jù)：包括設備與系統(tǒng)的日志和安全告警信息。

流量數(shù)據(jù)：網(wǎng)絡流量數(shù)據(jù)，包括Netflow數(shù)據(jù)和全流量鏡像數(shù)據(jù)。

支持數(shù)據(jù)：包括資產信息、賬號信息、漏洞信息和威脅情報信息等。

采集和預處理

對數(shù)據(jù)源收集的信息進行解析、標準化和豐富化處理，從而為數(shù)據(jù)分析提供高質量的數(shù)據(jù)。

數(shù)據(jù)傳輸采集：根據(jù)不同類型的數(shù)據(jù)源，以及數(shù)據(jù)存在的狀態(tài)，采用不同的傳輸與采集技術。

數(shù)據(jù)預處理：對數(shù)據(jù)進行解析、補全、標準化操作，從而提高安全分析的可信度，降低誤報率。

數(shù)據(jù)存儲

全量存儲網(wǎng)絡中原始的網(wǎng)絡數(shù)據(jù)，使數(shù)據(jù)結果分析更加全面可信。對所有網(wǎng)絡行為數(shù)據(jù)建立索引，便于快速查詢、管理分析和舉證。

數(shù)據(jù)分析

利用關聯(lián)分析、機器學習、深度學習等技術，從海量原始數(shù)據(jù)中自動挖掘出有價值的信息，最大的發(fā)揮數(shù)據(jù)的價值。

數(shù)據(jù)應用

依據(jù)數(shù)據(jù)分析結果，實現(xiàn)安全態(tài)勢感知、安全預警、追蹤溯源等應用。

二、大數(shù)據(jù)分析的關鍵技術

數(shù)據(jù)采集與解析技術

利用日志采集器實時以非格式化或半格式化采集原始數(shù)據(jù)，根據(jù)配置的解析規(guī)則和字段補全規(guī)則，完成數(shù)據(jù)的解析與數(shù)據(jù)補全。最終將解析的數(shù)據(jù)存入大數(shù)據(jù)存儲中，以便后續(xù)進行實時或長周期的展示和統(tǒng)計分析。

大數(shù)據(jù)存儲與處理技術

大數(shù)據(jù)平臺計算處理能力達到日存儲數(shù)據(jù)超過1T，支持千億條數(shù)據(jù)的秒級處理，PB級數(shù)據(jù)管理與應用，保證高吞吐量與高數(shù)據(jù)壓縮率，為安全智能分析提供實時或者長期的關聯(lián)分析數(shù)據(jù)基礎。

關聯(lián)分析

通過關聯(lián)分析引擎對采集的實時數(shù)據(jù)流進行深度關聯(lián)分析，包括安全告警、系統(tǒng)日志、資產、網(wǎng)絡、漏洞等信息之間采用基于規(guī)則、基于統(tǒng)計、基于資產、基于情報等深度關聯(lián)分析方法，綜合分析進行安全威脅檢測、預警。

機器學習

通過機器學習和算法對大量的歷史信息和安全信息的關聯(lián)，以無監(jiān)督學習(異常檢測)為主，并有人工輔助的半監(jiān)督學習(專家、管理人員反饋)，對威脅行為進行一個長周期的分析，找出安全威脅與攻擊的異常行為和隱藏的威脅行為。