譯者 | 布加迪

審校 | 重樓

從電子商務(wù)交易、物聯(lián)網(wǎng)傳感器數(shù)據(jù)到安全日志，企業(yè)如今面臨越來越大的實時數(shù)據(jù)洪流，這些數(shù)據(jù)對客戶體驗、運營和業(yè)務(wù)效率至關(guān)重要。對于許多企業(yè)來說，開源事件流平臺Apache Kafka就是解決之道。

想知道如何最好地使用Kafka嗎？

這篇快速入門介紹了Kafak的幾個特定用例、來自一些最大最重要數(shù)據(jù)型企業(yè)的實際案例以及運營最佳實踐，以幫助你盡快獲得想要的結(jié)果。

Kafka能為你做什么？

Kafka在四個關(guān)鍵的企業(yè)場景中表現(xiàn)出色：實時數(shù)據(jù)處理、消息傳遞、運營指標和日志聚合。

1. 實時數(shù)據(jù)處理

實時數(shù)據(jù)處理是Kafka真正的亮點。Kafka如同貴企業(yè)的中樞神經(jīng)系統(tǒng)。這項開源技術(shù)可以立即處理來自多個來源的數(shù)百萬個事件，同時確保沒有數(shù)據(jù)丟失。

比如說，電子商務(wù)平臺可以使用Kafka同時處理客戶點擊、庫存更新和發(fā)貨狀態(tài)變化，實現(xiàn)實時個性化和庫存管理。Kafka的架構(gòu)以最小的延遲和最大的可靠性處理這些海量數(shù)據(jù)流，而內(nèi)置的分析功能讓團隊可以從數(shù)據(jù)流中提取即時信息。

2. 消息傳遞

Kafka的消息傳遞功能充當了數(shù)字電話交換臺，實現(xiàn)成百上千個應(yīng)用程序和系統(tǒng)之間的無縫實時通信。以一家處理信用卡交易的金融服務(wù)公司為例：Kafka可以同時將交易數(shù)據(jù)發(fā)送到欺詐檢測系統(tǒng)、客戶數(shù)據(jù)庫和分析平臺，不會錯失任何信息。

隨著組織規(guī)模擴大、消息量增加，Kafka可以一同擴展，在處理負載的同時確保沒有關(guān)鍵通信內(nèi)容丟失。

3. 運營指標

運營指標就像控制塔，Kafka用于收集和提供數(shù)據(jù)，以監(jiān)控來自整個技術(shù)環(huán)境的實時指標。無論你是在跟蹤應(yīng)用程序性能、系統(tǒng)健康狀況還是業(yè)務(wù)關(guān)鍵績效指標（KPI），Kafka都為實時監(jiān)控和警報提供了單一的真相來源。

全球企業(yè)使用Kafka每秒監(jiān)控數(shù)百萬個指標，在潛在問題影響客戶之前發(fā)現(xiàn)并解決它們。Kafka還與最流行的監(jiān)控工具無縫集成，可以輕松地直觀呈現(xiàn)趨勢，并在需要時采取行動。

4. 日志聚合

最后但并非最不重要的是，Kafka將日志管理從一個令人頭疼的問題變成了一個戰(zhàn)略性資產(chǎn)。團隊不再需要費力地拼湊來自幾十上百個系統(tǒng)的日志，而是可以全面實時地了解基礎(chǔ)設(shè)施中發(fā)生的所有事情。

發(fā)生安全事件時，分析人員可以立即訪問和分析來自任何系統(tǒng)或時間段的相關(guān)日志。大企業(yè)每天通過Kafka處理數(shù)十億條日志，使用這些全面的數(shù)據(jù)用于從威脅檢測到應(yīng)用程序性能優(yōu)化的所有操作。不像傳統(tǒng)的日志系統(tǒng)面對大負荷會垮掉，Kafka即使在日志量急劇增長的情況下也能保持其性能。

現(xiàn)實世界的企業(yè)如何使用Kafka？

不妨看看世界上一些著名的企業(yè)在如何使用Kafka。

1.奈飛（Netflix）玩轉(zhuǎn)實時個性化

奈飛在全球擁有約3億用戶，每秒處理天文數(shù)字般的用戶數(shù)據(jù)量。Kafka充當了奈飛的實時個性化引擎的支柱，立即處理觀眾的行為，即時提供內(nèi)容推薦。每個點擊、暫停和回放決定都饋入到奈飛的Kafka系統(tǒng)中，使這家公司能夠不斷完善每位觀眾的體驗。任何擁有數(shù)字化業(yè)務(wù)的企業(yè)都可以采用類似的方法將客戶數(shù)據(jù)轉(zhuǎn)化為更個性化的體驗。

2.Pinterest驅(qū)動瞬間內(nèi)容發(fā)現(xiàn)

Pinterest必須通過即時將用戶與他們喜歡的內(nèi)容聯(lián)系起來，保持數(shù)億用戶的參與度。該公司使用Kafka和狀態(tài)流處理來實時處理數(shù)據(jù)流，使其推薦引擎能夠根據(jù)每個用戶最近的活動提供建議。Kafka的Streams API提供了這種功能，支持需要實時處理數(shù)據(jù)，同時還維護多個數(shù)據(jù)記錄的狀態(tài)信息（能夠利用歷史記錄）的用例。

3.沃爾瑪擴展實時商務(wù)運營

作為美國最大的零售商，沃爾瑪在美國境內(nèi)的大規(guī)模零售運營依賴實時數(shù)據(jù)處理，每天在其云基礎(chǔ)設(shè)施上處理數(shù)萬億條Kafka消息。由于沃爾瑪常面臨數(shù)據(jù)流量突然激增的情況，尤其是在節(jié)假日等大客流量購物期間，沃爾瑪?shù)墓こ虉F隊于是開發(fā)了一款名為“消息傳遞代理服務(wù)”（Messaging Proxy Service）的創(chuàng)新解決方案，從根本上改變了其處理消息處理的方式。這種重新構(gòu)想Kafka基礎(chǔ)設(shè)施的明智策略使沃爾瑪能夠在高峰時期保持高性能，同時降低運營成本。

切實使用Kafka

處理實時數(shù)據(jù)并采取相應(yīng)行動變得越來越不是優(yōu)勢，而是越來越有必要。在我看來，Kafka已證明了它是需要從容地處理龐大數(shù)據(jù)流的企業(yè)的首選平臺。

無論你是在構(gòu)建實時分析策略、驅(qū)動個性化體驗還是更新改造安全運營，Kafka都提供了你所需的基礎(chǔ)，而且它的完全開源版本非常強大。

奈飛、Pinterest和沃爾瑪這幾個例子展示了Kafka的一小部分用處，以及一些大企業(yè)在利用該平臺做些什么。借助正確的方法和最佳實踐，貴組織也能與這些先行者一樣充分發(fā)掘實時數(shù)據(jù)的功效。

原文標題：From Netflix to Walmart: Open Source Kafka in Action，作者：Varun Ghai