一文讀懂?dāng)?shù)據(jù)內(nèi)容識(shí)別核心技術(shù)
小王所在企業(yè)因?yàn)檗k公文件通過網(wǎng)絡(luò)出口被泄露到了互聯(lián)網(wǎng)上被有關(guān)部門通報(bào)了……
去年單位剛剛在網(wǎng)絡(luò)出口部署了具有攔截敏感文件外發(fā)功能的設(shè)備,為什么還會(huì)出現(xiàn)這種情況呢?
那我們就要從數(shù)據(jù)防泄漏通用技術(shù)說起了。
數(shù)據(jù)防泄露通用技術(shù)
為了預(yù)防數(shù)據(jù)丟失,無論數(shù)據(jù)的存儲(chǔ)、復(fù)制或傳輸位置在哪里,都必須準(zhǔn)確地檢測(cè)所有類型的機(jī)密數(shù)據(jù)。如果沒有準(zhǔn)確的檢測(cè),數(shù)據(jù)安全系統(tǒng)就會(huì)生成許多誤報(bào) (將并未違規(guī)的消息或文件標(biāo)識(shí)為違規(guī)) 以及漏報(bào) (未將違反策略的消息或文件標(biāo)識(shí)為違規(guī))。誤報(bào)會(huì)大量耗費(fèi)進(jìn)行進(jìn)一步調(diào)查和解決明顯事故所需的時(shí)間和資源。漏報(bào)會(huì)掩蓋安全漏洞,導(dǎo)致數(shù)據(jù)丟失、潛在財(cái)務(wù)損失、法律風(fēng)險(xiǎn)并有損組織聲譽(yù)。小王單位的這起事件,很明顯就是因?yàn)槁﹫?bào)引起的。
因此需要準(zhǔn)確的檢測(cè)技術(shù)來做保障。為了確保最高的準(zhǔn)確性,一般數(shù)據(jù)防泄漏DLP系統(tǒng)采用了三種基礎(chǔ)檢測(cè)技術(shù)和三種高級(jí)檢測(cè)技術(shù)。
1. 基礎(chǔ)檢測(cè)技術(shù)
基礎(chǔ)檢測(cè)技術(shù)中通常有三種方式,正則表達(dá)式檢測(cè)(標(biāo)示符)、關(guān)鍵字和關(guān)鍵字對(duì)檢測(cè)、文檔屬性檢測(cè)?;A(chǔ)檢測(cè)方法采用常規(guī)的檢測(cè)技術(shù)進(jìn)行內(nèi)容搜索和匹配,比較常見的都是正則表達(dá)式和關(guān)鍵字,此兩種方法可以對(duì)明確的敏感信息內(nèi)容進(jìn)行檢測(cè);文檔屬性檢測(cè)主要是針對(duì)文檔的類型、文檔的大小、文檔的名稱進(jìn)行檢測(cè),其中文檔的類型的檢測(cè)是基于文件格式進(jìn)行檢測(cè),不是簡(jiǎn)單的基于后綴名檢測(cè),對(duì)于修改后綴名的場(chǎng)景,文件類型檢測(cè)可以準(zhǔn)確的檢測(cè)出被檢測(cè)文件的類型,綠盟科技的數(shù)據(jù)防泄漏DLP系統(tǒng)目前支持100多種標(biāo)準(zhǔn)的文件類型,并且可以通過自定義特征,去識(shí)別特殊的文件類型格式的文檔。
2. 高級(jí)檢測(cè)技術(shù)
高級(jí)檢測(cè)技術(shù)中也有三種方式,精確數(shù)據(jù)比對(duì) (EDM)、指紋文檔比對(duì) (IDM)、向量分類比對(duì) (SVM)。EDM 用于保護(hù)通常為結(jié)構(gòu)化格式的數(shù)據(jù),例如客戶或員工數(shù)據(jù)庫(kù)記錄。IDM和SVM 用于保護(hù)非結(jié)構(gòu)化的數(shù)據(jù),例如 Microsoft Word 或 PowerPoint 文檔。對(duì)于 EDM、IDM、SVM 而言,敏感數(shù)據(jù)會(huì)先由企業(yè)標(biāo)識(shí)出來,然后再由DLP判別其特征,以進(jìn)行精準(zhǔn)的持續(xù)檢測(cè)。判別特征的流程包括DLP訪問和檢索文本及數(shù)據(jù)、予以正規(guī)化,并使用不可逆的打亂方式進(jìn)行保護(hù)。
DLP 檢測(cè)是以實(shí)際的機(jī)密內(nèi)容為基礎(chǔ),而非根據(jù)文件本身。因此,DLP不只能檢測(cè)敏感數(shù)據(jù)的檢索項(xiàng)或衍生項(xiàng),而且能夠標(biāo)識(shí)文件格式與特征信息格式不同的敏感數(shù)據(jù)。例如,如果已經(jīng)判別出機(jī)密 Microsoft Word 文檔的特征,DLP就能夠在相同的內(nèi)容以 PDF 附件的方式通過電子郵件進(jìn)行提交時(shí),將其準(zhǔn)確檢測(cè)出來。
(1) 精確數(shù)據(jù)比對(duì)
精確數(shù)據(jù)比對(duì) (EDM) 可保護(hù)客戶與員工的數(shù)據(jù),以及其他通常存儲(chǔ)在數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)。例如,客戶可能會(huì)撰寫有關(guān)使用 EDM 檢測(cè)的策略,以在消息中查找“名字”、“身份證號(hào)”、“銀行帳號(hào)”或“電話號(hào)碼”其中任意三項(xiàng)同時(shí)出現(xiàn)的情況,并將其映射至客戶數(shù)據(jù)庫(kù)中的記錄。
EDM 允許根據(jù)特定數(shù)據(jù)列中的任何數(shù)據(jù)欄組合進(jìn)行檢測(cè);也就是在特定記錄中檢測(cè) M 個(gè)字段中的 N 個(gè)字段。它能夠在“值組”或指定的數(shù)據(jù)類型集上觸發(fā);例如,可接受名字與身份證號(hào)這兩個(gè)字段的組合,但不接受名字與手機(jī)號(hào)這兩個(gè)字段的組合。
由于會(huì)針對(duì)每個(gè)數(shù)據(jù)存儲(chǔ)格存儲(chǔ)一個(gè)單獨(dú)的打亂號(hào)碼,因此只有來自單個(gè)列的映射數(shù)據(jù)才能觸發(fā)正在查找不同數(shù)據(jù)組合的檢測(cè)策略。例如,有個(gè) EDM 策略請(qǐng)求“名字 + 身份證號(hào) +手機(jī)號(hào)”的組合,則“張三”+“13333333333”“110001198107011533” 可觸發(fā)此策略,但是即使 “李四”也位于同一數(shù)據(jù)庫(kù)中,“李四”+“13333333333”“110001198107011533”也不能觸發(fā)此策略。EDM 也支持相近邏輯以減少可能的誤報(bào)情形。對(duì)于檢測(cè)期間所處理的自由格式文本而言,單個(gè)特征列中所有數(shù)據(jù)各自的字?jǐn)?shù)均必須在可配置的范圍內(nèi),方可視為匹配項(xiàng)。例如,依默認(rèn),在檢測(cè)到的電子郵件正文的文本中,“張三”+“13333333333”“110001198107011533”各自的字?jǐn)?shù)必須在選定的范圍內(nèi),才會(huì)出現(xiàn)匹配項(xiàng)。對(duì)于含有表式數(shù)據(jù) (例如 Excel 電子表格) 的文本而言,單個(gè)特征列中所有數(shù)據(jù)都必須位于表式文本的同一行上,方可視為匹配項(xiàng),以減少整體誤報(bào)情形。
(2) 指紋文檔比對(duì)
“指紋文檔比對(duì)”(IDM) 可確保準(zhǔn)確檢測(cè)以文檔形式存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù),例如 Microsoft Word 與 PowerPoint 文件、PDF 文檔、財(cái)務(wù)、并購(gòu)文檔,以及其他敏感或?qū)S行畔ⅰDM 會(huì)創(chuàng)建文檔指紋特征,以檢測(cè)原始文檔的已檢索部分、草稿或不同版本的受保護(hù)文檔。
IDM 首先要進(jìn)行敏感文件的學(xué)習(xí)和訓(xùn)練,拿到敏感內(nèi)容的文檔時(shí), IDM采用語(yǔ)義分析的技術(shù)進(jìn)行分詞,然后進(jìn)行語(yǔ)義分析,提出來需要學(xué)習(xí)和訓(xùn)練的敏感信息文檔的指紋模型,然后利用同樣的方法對(duì)被測(cè)的文檔或內(nèi)容進(jìn)行指紋抓取,將得到的指紋與訓(xùn)練的指紋進(jìn)行比對(duì),根據(jù)預(yù)設(shè)的相似度去確認(rèn)被檢測(cè)文檔是否為敏感信息文檔。這種方法可讓 IDM 具備極高的準(zhǔn)確率與較大的擴(kuò)展性。
(3) 向量機(jī)分類比對(duì)
支持向量機(jī)(Support Vector Machines)是由Vapnik等人于1995年提出來的。之后隨著統(tǒng)計(jì)理論的發(fā)展,支持向量機(jī)也逐漸受到了各領(lǐng)域研究者的關(guān)注,在很短的時(shí)間就得到很廣泛的應(yīng)用。支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上的,利用有限的樣本所提供的信息對(duì)模型的復(fù)雜性和學(xué)習(xí)能力兩者進(jìn)行了尋求最佳的折中,以獲得最好的泛化能力。SVM的基本思想是把訓(xùn)練數(shù)據(jù)非線性的映射到一個(gè)更高維的特征空間(Hilbert空間)中,在這個(gè)高維的特征空間中尋找到一個(gè)超平面使得正例和反例兩者間的隔離邊緣被最大化。SVM的出現(xiàn)有效的解決了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)果選擇問題、局部極小值、過擬合等問題。并且在小樣本、非線性、數(shù)據(jù)高維等機(jī)器學(xué)習(xí)問題中表現(xiàn)出很多令人注目的性質(zhì),被廣泛地應(yīng)用在模式識(shí)別,數(shù)據(jù)挖掘等領(lǐng)域。
SVM比對(duì)算法適合那些具有微妙的特征或很難描述的數(shù)據(jù),如財(cái)務(wù)報(bào)告和源代碼等。使用過程中,先將文檔按照內(nèi)容細(xì)分化分類,每一類文檔集合有屬于本類的意義,經(jīng)過SVM比對(duì),確定被檢測(cè)的文檔屬于哪一類,并取得此類文檔的權(quán)限和策略。同時(shí),針對(duì)SVM的特點(diǎn),可以進(jìn)行終端或服務(wù)器上的文檔按照分類含義進(jìn)行分類數(shù)據(jù)發(fā)現(xiàn)。
IDM和SVM的比對(duì)區(qū)別是,IDM將待檢測(cè)文件的指紋和訓(xùn)練模型中的每一個(gè)文件進(jìn)行指紋比對(duì);而SVM是將待檢測(cè)文件向量化,并歸屬到某一類訓(xùn)練集所建立的向量空間。
可見,做好數(shù)據(jù)防泄密,只有基礎(chǔ)的識(shí)別、檢測(cè)技術(shù)是不夠的。隨著大數(shù)據(jù)、云計(jì)算以及移動(dòng)互聯(lián)網(wǎng)的高度融合,對(duì)數(shù)據(jù)安全技術(shù)提出了更高的要求,泄密事件將呈現(xiàn)高發(fā)趨勢(shì)。選擇一套功能強(qiáng)、信得過的數(shù)據(jù)防泄露系統(tǒng),保護(hù)企業(yè)的核心數(shù)據(jù),降低泄密風(fēng)險(xiǎn)顯得尤為重要。
【本文是51CTO專欄作者“綠盟科技博客”的原創(chuàng)稿件,轉(zhuǎn)載請(qǐng)通過51CTO聯(lián)系原作者獲取授權(quán)】