大約十年前，大數(shù)據(jù)開始流行。隨著存儲成本不斷下降，很多企業(yè)開始存儲他們獲取或生成的大部分數(shù)據(jù)，以便他們可以挖掘這些數(shù)據(jù)，以獲得關鍵的業(yè)務洞察力。

企業(yè)分析所有這些數(shù)據(jù)的需求推動著各種大數(shù)據(jù)框架的開發(fā)，這些框架能夠篩選大量數(shù)據(jù)，從Hadoop開始。大數(shù)據(jù)框架最初用于數(shù)據(jù)倉庫或數(shù)據(jù)湖中的靜態(tài)數(shù)據(jù)，但最近的趨勢是實時處理來自多個源的數(shù)據(jù)。

[[440252]]

什么是大數(shù)據(jù)框架?

大數(shù)據(jù)框架是一組軟件組件，可用于構(gòu)建分布式系統(tǒng)以處理大型數(shù)據(jù)集，包括結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)集可以來自多個來源，大小從TB到PB到EB不等。

此類框架通常在高性能計算 (HPC) 中發(fā)揮作用，該技術可以解決材料科學、工程或金融建模等不同領域的難題。尋找這些問題的答案通常在于篩選盡可能多的相關數(shù)據(jù)。

最著名的大數(shù)據(jù)框架是Apache Hadoop。其他大數(shù)據(jù)框架包括Spark、Kafka、Storm和Flink，它們與Hadoop一樣都是由Apache軟件基金會開發(fā)的開源項目。Apache Hive最初由Facebook開發(fā)，也是一個大數(shù)據(jù)框架。

Spark相對于Hadoop的優(yōu)勢是什么?

Apache Hadoop的主要組件是Hadoop分布式文件系統(tǒng) (HDFS) 和數(shù)據(jù)處理引擎–部署 MapReduce程序以過濾和排序數(shù)據(jù)。還包括YARN，它是Hadoop集群的資源管理器。

Apache Spark也可以在HDFS或替代的分布式文件系統(tǒng)上運行。它的開發(fā)速度比MapReduce更快，通過在內(nèi)存中處理和保留數(shù)據(jù)以供后續(xù)步驟使用，而不是將結(jié)果直接寫回存儲。對于較小的工作負載，這會使Spark比Hadoop快100倍。

但是，Hadoop MapReduce可以處理比Spark大得多的數(shù)據(jù)集，尤其是那些整個數(shù)據(jù)集的大小超過可用內(nèi)存的數(shù)據(jù)集。如果企業(yè)擁有大量數(shù)據(jù)并且處理對時間不敏感，那么Hadoop可能是更好的選擇。

Spark更適合企業(yè)需要快速答案的應用程序，例如涉及迭代或圖形處理的應用程序。這種技術也稱為網(wǎng)絡分析，該技術分析客戶和產(chǎn)品等實體之間的關系。

Hadoop和Kafka的區(qū)別是什么?

Apache Kafka是分布式事件流平臺，旨在處理實時數(shù)據(jù)源。這意味著數(shù)據(jù)在通過系統(tǒng)時被處理。

與Hadoop一樣，Kafka在服務器節(jié)點集群上運行，因此具有可擴展性。有些服務器節(jié)點形成存儲層，稱為代理，而另一些則處理數(shù)據(jù)流的連續(xù)導入和導出。

嚴格來說，Kafka不是Hadoop的競爭對手平臺。企業(yè)可以將它與Hadoop一起用作整體應用程序架構(gòu)的一部分，在該架構(gòu)中，它處理傳入的數(shù)據(jù)流并將其輸入到數(shù)據(jù)湖中，以供Hadoop等框架進行處理。

由于其每秒可處理數(shù)千條消息，Kafka對于網(wǎng)站活動跟蹤或大規(guī)模物聯(lián)網(wǎng)部署中的遙測數(shù)據(jù)收集等應用非常有用。

Kafka和Spark的區(qū)別是什么?

Apache Spark是一種通用處理引擎，開發(fā)用于執(zhí)行批處理(類似于MapReduce)和工作負載，例如流、交互式查詢和機器學習 (ML)。

Kafka的架構(gòu)是分布式消息傳遞系統(tǒng)架構(gòu)，將記錄流存儲在稱為主題的類別中。它不是用于大規(guī)模分析作業(yè)，而是用于高效的流處理。它旨在集成到應用程序的業(yè)務邏輯中，而不是用于批量分析作業(yè)。

Kafka最初是在社交網(wǎng)絡LinkedIn上開發(fā)，用于分析其數(shù)百萬用戶之間的聯(lián)系。也許最好將其視為能夠從眾多來源實時捕獲數(shù)據(jù)，并將其分類為要分析的主題以深入了解數(shù)據(jù)的框架。

這種分析可能會使用Spark等工具執(zhí)行，Spark是一種集群計算框架，可以執(zhí)行用Java、Python或Scala等語言開發(fā)的代碼。Spark還包含Spark SQL，它支持查詢結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù);以及Spark MLlib，用于構(gòu)建和操作ML管道的機器學習庫。

其他大數(shù)據(jù)框架

以下是其他你可能感興趣的大數(shù)據(jù)框架。

Apache Hive使SQL開發(fā)人員使用Hive查詢語言 (HQL) 語句，類似于用于數(shù)據(jù)查詢和分析的標準SQL。Hive可以在HDFS上運行，最適合數(shù)據(jù)倉庫任務，例如提取、轉(zhuǎn)換和加載 (ETL)、報告和數(shù)據(jù)分析。

Apache Flink將有狀態(tài)的流處理與處理ETL和批處理作業(yè)的能力相結(jié)合。這使其非常適合事件驅(qū)動的工作負載，例如網(wǎng)站上的用戶交互或在線采購訂單。與Hive一樣，F(xiàn)link可以運行在HDFS或其他數(shù)據(jù)存儲層上。

Apache Storm是分布式實時處理框架，可以與帶有MapReduce的Hadoop進行比較，不同之處在于它實時處理事件數(shù)據(jù)，而MapReduce以離散批次運行。Storm是為可擴展性和高級別容錯而設計。它對于需要快速響應的應用程序也很有用，例如檢測安全漏洞。