大數(shù)據(jù)架構和平臺算是新事物，而且還在以一種非凡的速度不斷發(fā)展著。商業(yè)和開源的開發(fā)團隊幾乎每月都在發(fā)布其平臺的新功能。當今的大數(shù)據(jù)集群將會與將來我們看到的數(shù)據(jù)集群有極大不同。適應這種新困難的安全工具也將發(fā)生變化。在采用大數(shù)據(jù)的生命周期中，業(yè)界仍處于早期階段，但公司越早開始應對大數(shù)據(jù)的安全問題，任務就越容易。如果安全成為大數(shù)據(jù)集群發(fā)展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環(huán)境中。

“大數(shù)據(jù)”一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什么意義了。大數(shù)據(jù)確實存儲并處理大量的數(shù)據(jù)集合，但其特性體現(xiàn)遠不止于此。

在著手解決大數(shù)據(jù)問題時，將其看作是一種觀念而不是特定的規(guī)模或技術非常有益。就其最簡單的表現(xiàn)來說，大數(shù)據(jù)現(xiàn)象由三個大趨勢的交集所推動：包含寶貴信息的大量數(shù)據(jù)、廉價的計算資源、幾乎免費的分析工具。

如今，有很多特別重視不同數(shù)據(jù)類型(例如，地理位置數(shù)據(jù))的大數(shù)據(jù)管理系統(tǒng)。這些系統(tǒng)使用多種不同的查詢模式、不同的數(shù)據(jù)存儲模式、不同的任務管理和協(xié)調、不同的資源管理工具。雖然大數(shù)據(jù)常被描述為“反關系型”的，但這個概念還無法抓住大數(shù)據(jù)的本質。為了避免性能問題，大數(shù)據(jù)確實拋棄了許多關系型數(shù)據(jù)庫的核心功能，卻也沒犯什么錯誤：有些大數(shù)據(jù)環(huán)境提供關系型結構、業(yè)務連續(xù)性和結構化查詢處理。

由于傳統(tǒng)的定義無法抓住大數(shù)據(jù)的本質，我們不妨根據(jù)組成大數(shù)據(jù)環(huán)境的關鍵要素思考一下大數(shù)據(jù)。這些關鍵要素使用了許多分布式的數(shù)據(jù)存儲和管理節(jié)點。這些要素存儲多個數(shù)據(jù)副本，在多個節(jié)點之間將數(shù)據(jù)變成“碎片”。這意味著在單一節(jié)點發(fā)生故障時，數(shù)據(jù)查詢將會轉向處理資源可用的數(shù)據(jù)。正是這種能夠彼此協(xié)作的分布式數(shù)據(jù)節(jié)點集群，可以解決數(shù)據(jù)管理和數(shù)據(jù)查詢問題，才使得大數(shù)據(jù)如此不同。

上圖顯示的是一個Hadoop文件系統(tǒng)的架構圖，顯示出數(shù)據(jù)節(jié)點和客戶端如何交互。

節(jié)點的松散聯(lián)系帶來了許多性能優(yōu)勢，但也帶來了獨特的安全挑戰(zhàn)。大數(shù)據(jù)數(shù)據(jù)庫并不使用集中化的“圍墻花園”模式(與“完全開放”的互聯(lián)網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環(huán)境)，內部的數(shù)據(jù)庫并不隱藏自己而使其它應用程序無法訪問。在這兒沒有“內部的”概念，而大數(shù)據(jù)并不依賴數(shù)據(jù)訪問的集中點。大數(shù)據(jù)將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節(jié)點進行通信。

規(guī)模、實時性和分布式處理：大數(shù)據(jù)的本質特征(使大數(shù)據(jù)解決超過以前數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)管理和處理需求，例如，在容量、實時性、分布式架構和并行處理等方面)使得保障這些系統(tǒng)的安全更為困難。大數(shù)據(jù)集群具有開放性和自我組織性，并可以使用戶與多個數(shù)據(jù)節(jié)點同時通信。驗證哪些數(shù)據(jù)節(jié)點和哪些客戶應當訪問信息是很困難的。別忘了，大數(shù)據(jù)的本質屬性意味著新節(jié)點自動連接到集群中，共享數(shù)據(jù)和查詢結果，解決客戶任務。

嵌入式安全：在涉及大數(shù)據(jù)的瘋狂競賽中，大部分的開發(fā)資源都用于改善大數(shù)據(jù)的可升級、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大數(shù)據(jù)平臺中的安全功能。你希望開發(fā)人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數(shù)據(jù)集群一樣可升級、高性能、自組織。問題是，開源系統(tǒng)或多數(shù)商業(yè)系統(tǒng)一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型數(shù)據(jù)庫中。多數(shù)系統(tǒng)提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。

應用程序：面向大數(shù)據(jù)集群的大多數(shù)應用都是Web應用。它們利用基于Web的技術和無狀態(tài)的基于REST的API。雖然全面討論大數(shù)據(jù)安全的這個問題超出了本文的范圍，但基于Web的應用程序和API給這些大數(shù)據(jù)集群帶來了一種最重大的威脅。在遭受攻擊或破壞后，它們可以提供對大數(shù)據(jù)集群中所存儲數(shù)據(jù)的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數(shù)據(jù)集群安全的安全措施一樣都不可或缺。

數(shù)據(jù)安全：存儲在大數(shù)據(jù)集群中的數(shù)據(jù)基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數(shù)據(jù)的設計，但這種數(shù)據(jù)是存儲在大量節(jié)點上的。存儲在集群中的數(shù)據(jù)易于遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。