【51CTO.com快譯】大數(shù)據(jù)是當(dāng)今許多企業(yè)IT運(yùn)營的一個重要組成部分。據(jù)知名調(diào)研公司IDC預(yù)測，到2019年，大數(shù)據(jù)市場產(chǎn)值將達(dá)到1870億美元。大數(shù)據(jù)是數(shù)據(jù)分析的一個關(guān)鍵部分，而分析又是機(jī)器和人類商業(yè)智能及決策的基礎(chǔ)。因為很明顯，要是沒有某種基礎(chǔ)設(shè)施，你無法獲得各種數(shù)據(jù)：大數(shù)據(jù)、小數(shù)據(jù)或完全正確的數(shù)據(jù)，所以有必要看一看有助于構(gòu)建成功大數(shù)據(jù)架構(gòu)的幾個因素。

其中，一些因素可能看起來很明顯，另一些則比較微妙。實際上，所有因素共同對你的大數(shù)據(jù)系統(tǒng)將支持的分析和行動帶來巨大的影響。

當(dāng)然，不是說只有這七個因素才會對大數(shù)據(jù)基礎(chǔ)設(shè)施的工作方式帶來影響。大數(shù)據(jù)系統(tǒng)牽涉好多部分，但這七個因素值得你考慮，因為它們是許多其他部分和流程的基礎(chǔ)。

眼下，你可能在使用大數(shù)據(jù)，即便你是在一家小公司工作。這要拜現(xiàn)有的基礎(chǔ)設(shè)施部分所賜――其中許多部分連最小的IT部門也能訪問。

伴隨這種可訪問性而來的是，那些本身并不擁有數(shù)據(jù)科學(xué)專長的小公司員工可能感到困惑和沮喪。如果你處于這種情形，本文不會消除你的所有困惑，但是讓你可以開始向潛在的服務(wù)提供商和供應(yīng)商提一些針對性的問題。

大數(shù)據(jù)遠(yuǎn)不止Hadoop

在平常的談話中，大數(shù)據(jù)和Hadoop常常被人換著使用。這樣的結(jié)果讓人遺憾，因為大數(shù)據(jù)遠(yuǎn)不止Hadoop。 Hadoop是一種文件系統(tǒng)(而不是數(shù)據(jù)庫)，旨在跨數(shù)百或數(shù)千個處理節(jié)點(diǎn)傳送數(shù)據(jù)。它用于許多大數(shù)據(jù)應(yīng)用，原因是作為一種文件系統(tǒng)，它擅長處理非結(jié)構(gòu)化數(shù)據(jù)，這類數(shù)據(jù)甚至不像其周圍的數(shù)據(jù)。當(dāng)然，一些大數(shù)據(jù)是結(jié)構(gòu)化的，為此你需要一個數(shù)據(jù)庫。但數(shù)據(jù)庫是本文介紹的一個不同因素。

Hive和Impala將數(shù)據(jù)庫引入到Hadoop

這里說的是面向大數(shù)據(jù)世界中結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫。如果你想讓Hadoop數(shù)據(jù)平臺井然有序，那么Hive可能正是你需要的。這種基礎(chǔ)設(shè)施工具讓你可以針對非常不像SQL的Hadoop處理類似SQL的操作。

如果你有一部分?jǐn)?shù)據(jù)很容易放在結(jié)構(gòu)化數(shù)據(jù)庫中，那么Impala是旨在駐留在Hadoop里面的數(shù)據(jù)庫，它還可以使用你從Hadoop轉(zhuǎn)換到SQL過程中開發(fā)的Hive命令。所有這三個(Hadoop、Hive和Impala)都是Apache項目，所以它們都是開源的。

Spark用于處理大數(shù)據(jù)

到目前為止，我們一直在談?wù)摯鎯徒M織數(shù)據(jù)。但是，如果你想實際處理數(shù)據(jù)又怎么樣?這時候，你就需要一種像Spark這樣的分析和處理引擎。Spark是另一個Apache項目，它包括一批開源和商業(yè)產(chǎn)品，拿來你添加到數(shù)據(jù)湖、倉庫和數(shù)據(jù)庫的數(shù)據(jù)后，對數(shù)據(jù)做一些有用的操作。

由于它可以訪問你能想象的任何數(shù)據(jù)的庫，Spark可用于處理存儲在各種地方的各種數(shù)據(jù)。它同樣是開源的，所以你可以隨意修改它。

你可以對大數(shù)據(jù)執(zhí)行SQL操作

許多人知道如何構(gòu)建SQL數(shù)據(jù)庫和編寫SQL查詢。面對大數(shù)據(jù)時，這種專長沒有必要浪費(fèi)。Presto是一種開源SQL查詢引擎，它讓數(shù)據(jù)科學(xué)家可以使用SQL查詢，查詢駐留在從Hive到專有商業(yè)數(shù)據(jù)庫管理系統(tǒng)的任何環(huán)境的數(shù)據(jù)庫。它被Facebook之類的大公司用于交互式查詢，而交互式查詢這個短語是關(guān)鍵。Presto就好比是一種對龐大數(shù)據(jù)集執(zhí)行即席交互式查詢的工具。

在線存儲有一席之地

一些大數(shù)據(jù)任務(wù)需要用到不斷變化的數(shù)據(jù)。有時候，這是定期添加的數(shù)據(jù)，有時是通過分析而更改的數(shù)據(jù)。不管在什么情況下，如果你的數(shù)據(jù)寫入與讀取一樣頻繁，那么你就需要該數(shù)據(jù)存儲在本地、聯(lián)機(jī)。如果你支付得起成本，還希望數(shù)據(jù)存儲在固態(tài)存儲介質(zhì)上，因為這會大大加快速度――如果你在零售或交易場地的人員焦急地等待結(jié)果返回，這是個重要的考慮因素。

云存儲也有一席之地

如果在更龐大的聚合數(shù)據(jù)庫上進(jìn)行分析，那么云是***的平臺。聚合數(shù)據(jù)并傳輸?shù)皆疲\(yùn)行分析，然后拆掉實例。這正是云最擅長的那種彈性需求響應(yīng)。操作不會受到互聯(lián)網(wǎng)可能帶來的任何延遲問題的顯著影響。如果你把在專用本地系統(tǒng)上進(jìn)行的實時分析與云端運(yùn)行的深度分析結(jié)合起來，那么離充分發(fā)揮大數(shù)據(jù)基礎(chǔ)設(shè)施的潛力近在咫尺。

別忘了可視化

分析大數(shù)據(jù)是一回事，以一種對大多數(shù)人有意義的方式來顯示分析結(jié)果又是另一回事。圖形對于整個“解讀”工作大有幫助，所以應(yīng)該將數(shù)據(jù)可視化視作是大數(shù)據(jù)基礎(chǔ)設(shè)施的一個關(guān)鍵部分。

幸好，有許多方法可以實現(xiàn)可視化，從JavaScript庫、商業(yè)可視化軟件包到在線服務(wù)，不一而足。最重要的是什么?從中選擇一小部分，試一試，并且讓你的用戶嘗試一下。你會發(fā)現(xiàn)，可靠的可視化是讓你的大數(shù)據(jù)分析盡可能出成果的***方式。

以上就是你在企業(yè)處理大數(shù)據(jù)時應(yīng)知道并牢記的七個關(guān)鍵。

原文標(biāo)題：7 Keys To Building A Successful Big Data Infrastructure；作者：Curtis Franklin Jr.

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】