消息系統(tǒng)

消息系統(tǒng)被用于各種場景，如解耦數(shù)據(jù)生產(chǎn)者，緩存未處理的消息。Kafka 可作為傳統(tǒng)的消息系統(tǒng)的替代者，與傳統(tǒng)消息系統(tǒng)相比，kafka有更好的吞吐量、更好的可用性，這有利于處理大規(guī)模的消息。

根據(jù)經(jīng)驗，通常消息傳遞對吞吐量要求較低，但可能要求較低的端到端延遲，并經(jīng)常依賴kafka可靠的durable機制。

在這方面，Kafka可以與傳統(tǒng)的消息傳遞系統(tǒng)(ActiveMQ 和RabbitMQ)相媲美。

存儲系統(tǒng)

寫入到kafka中的數(shù)據(jù)是落地到了磁盤上，并且有冗余備份，kafka允許producer等待確認,通過配置，可實現(xiàn)直到所有的replication完成復制才算寫入成功，這樣可保證數(shù)據(jù)的可用性。

Kafka認真對待存儲，并允許client自行控制讀取位置，你可以認為kafka是-種特殊的文件系統(tǒng)，它能夠提供高性能、低延遲、高可用的日志提交存儲。

日志聚合

日志系統(tǒng)一般需要如下功能：日志的收集、清洗、聚合、存儲、展示。Kafka常用來替代其他日志聚合解決方案。

和Scribe、Flume相比，Kafka提供同樣好的性能、更健壯的堆積保障、更低的端到端延遲。日志會落地，導致kafka做日志聚合更昂貴。

kafka可實現(xiàn)日志的：

• 清洗(需編碼)
• 聚合(可靠但昂貴，因需落地磁盤)
• 存儲

ELK是現(xiàn)在比較流行的日志系統(tǒng)。在kafka的配合 下才是更成熟的方案，kafka在ELK技術(shù)棧中，主要起到buffer的作用，必要時可進行日志的匯流。

圖片

系統(tǒng)監(jiān)控與報警

與日志分析系統(tǒng)類似，我們需要收集系統(tǒng)指標以進行監(jiān)控和故障排除。區(qū)別在于指標是結(jié)構(gòu)化數(shù)據(jù)，而日志是非結(jié)構(gòu)化文本。指標數(shù)據(jù)發(fā)送到 Kafka 并在 Flink 中聚合。聚合數(shù)據(jù)由實時監(jiān)控儀表板和警報系統(tǒng)（例如 PagerDuty）使用。

圖片

Commit Log

Kafka 可充當分布式系統(tǒng)的一種外部提交日志。日志有助于在節(jié)點之間復制數(shù)據(jù)，并充當故障節(jié)點恢復數(shù)據(jù)的重新同步機制。

Kafka 中的日志壓縮功能有助于支持這種用法。

跟蹤網(wǎng)站活動 - 推薦系統(tǒng)

kafka的最初始作用就是，將用戶行為跟蹤管道重構(gòu)為一組實時發(fā)布-訂閱源。把網(wǎng)站活動(瀏覽網(wǎng)頁、搜索或其他的用戶操作)發(fā)布到中心topics中,每種活動類型對應一個topic?；谶@些訂閱源，能夠?qū)崿F(xiàn)一系列用例，如實時處理、實時監(jiān)視、批量地將Kafka的數(shù)據(jù)加載到Hadoop或離線數(shù)倉系統(tǒng)，進行離線數(shù)據(jù)處理并生成報告。

每個用戶瀏覽網(wǎng)頁時都生成了許多活動信息，因此活動跟蹤的數(shù)據(jù)量通常非常大。(Kafka實際應用)

像亞馬遜這樣的電子商務網(wǎng)站使用過去的行為和相似的用戶來計算產(chǎn)品推薦。下圖展示了推薦系統(tǒng)的工作原理。Kafka 傳輸原始點擊流數(shù)據(jù)，F(xiàn)link 對其進行處理，模型訓練則使用來自數(shù)據(jù)湖的聚合數(shù)據(jù)。

圖片

這使得能夠持續(xù)改進每個用戶的推薦的相關(guān)性。Kafka 的另一個重要用例是實時點擊流分析。

流處理 - kafka stream API

Kafka社區(qū)認為僅僅提供數(shù)據(jù)生產(chǎn)、消費機制是不夠的，他們還要提供流數(shù)據(jù)實時處理機制

從0.10.0.0開始, Kafka通過提供Strearms API來提供輕量，但功能強大的流處理。實際上就是Streams API幫助解決流引用中一些棘手的問題，比如:

• 處理無序的數(shù)據(jù)
• 代碼變化后再次處理數(shù)據(jù)
• 進行有狀態(tài)的流式計算

Streams API的流處理包含多個階段，從input topics消費數(shù)據(jù)，做各種處理，將結(jié)果寫入到目標topic, Streans API基于kafka提供的核心原語構(gòu)建，它使用kafka consumer、 producer來輸入、輸出，用Kfka來做狀態(tài)存儲。

流處理框架: flink、spark streaming、Storm本是正統(tǒng)流處理框架，Kafka在流處理更多扮演流存儲角色。

CDC（ Change data capture，變更數(shù)據(jù)捕獲）

• CDC將數(shù)據(jù)庫變化流式傳輸?shù)狡渌到y(tǒng)，以進行復制或緩存/索引更新
• Kafka 還是構(gòu)建data pipeline的絕佳工具，使用它從各種來源獲取數(shù)據(jù)、應用處理規(guī)則并將數(shù)據(jù)存儲在倉庫、數(shù)據(jù)湖或數(shù)據(jù)網(wǎng)格中
• 如下，事務日志發(fā)送到 Kafka 并由 ElasticSearch、Redis 和輔助數(shù)據(jù)庫攝取。

圖片

img

系統(tǒng)遷移

升級遺留服務具有挑戰(zhàn)性：

• 舊語言
• 復雜邏輯
• 缺乏測試

可利用MQ降低風險。

為升級訂單服務，更新舊的訂單服務以消費來自 Kafka 的輸入并將結(jié)果寫入 ORDER topic。新訂單服務使用相同的輸入并將結(jié)果寫入 ORDERNEW topic：

圖片

Reconciliation調(diào)節(jié)服務比較 ORDER 和 ORDERNEW。如果它們相同，則新服務通過測試。

事件溯源

如果將事件作為系統(tǒng)中的一等公民（即事實來源），那存儲應用程序的狀態(tài)就是一系列事件，系統(tǒng)中的其他所有內(nèi)容都可根據(jù)這些持久且不可變的事件重新計算。

事件溯源就是捕獲一系列事件中狀態(tài)的變化。通常使用 Kafka 作為主要事件存儲。如果發(fā)生任何故障、回滾或需要重建狀態(tài)，可隨時重新應用 Kafka 中的事件。