一、Kafka介紹

Kafka是最初由Linkedin公司開發(fā)，是一個分布式、分區(qū)的、多副本的、多生產(chǎn)者、多訂閱者，基于 zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當做MQ系統(tǒng)），常見可以用于web/nginx日志、訪問日志， 消息服務等等，Linkedin于2010年貢獻給了Apache基金會并成為頂級開源項目。

主要應用場景是：日志收集系統(tǒng)和消息系統(tǒng)。

Kafka主要設計目標如下：

• 以時間復雜度為O(1)的方式提供消息持久化能力，即使對TB級以上數(shù)據(jù)也能保證常數(shù)時間的訪 問性能。
• 高吞吐率。即使在非常廉價的商用機器上也能做到單機支持每秒100K條消息的傳輸。
•  支持Kafka Server間的消息分區(qū)，及分布式消費，同時保證每個partition內(nèi)的消息順序傳輸。
• 同時支持離線數(shù)據(jù)處理和實時數(shù)據(jù)處理。
• 支持在線水平擴展。

有兩種主要的消息傳遞模式：點對點傳遞模式、發(fā)布-訂閱模式。大部分的消息系統(tǒng)選用發(fā)布-訂閱 模式。

Kafka就是一種發(fā)布-訂閱模式。 對于消息中間件，消息分推拉兩種模式。Kafka只有消息的拉取，沒有推送，可以通過輪詢實現(xiàn)消息的推送。

1. Kafka在一個或多個可以跨越多個數(shù)據(jù)中心的服務器上作為集群運行。

2. Kafka集群中按照主題分類管理，一個主題可以有多個分區(qū)，一個分區(qū)可以有多個副本分區(qū)。

3. 每個記錄由一個鍵，一個值和一個時間戳組成。

Kafka具有四個核心API：

1. Producer API：允許應用程序?qū)⒂涗浟靼l(fā)布到一個或多個Kafka主題。

2. Consumer API：允許應用程序訂閱一個或多個主題并處理為其生成的記錄流。

3. Streams API：允許應用程序充當流處理器，使用一個或多個主題的輸入流，并生成一個或多個輸出主題的輸出流，從而有效地將輸入流轉(zhuǎn)換為輸出流。

4. Connector API：允許構建和運行將Kafka主題連接到現(xiàn)有應用程序或數(shù)據(jù)系統(tǒng)的可重用生產(chǎn)者 或使用者。例如，關系數(shù)據(jù)庫的連接器可能會捕獲對表的所有更改。

二、Kafka優(yōu)勢

1. 高吞吐量：單機每秒處理幾十上百萬的消息量。即使存儲了許多TB的消息，它也保持穩(wěn)定的性 能。

2. 高性能：單節(jié)點支持上千個客戶端，并保證零停機和零數(shù)據(jù)丟失。

3. 持久化數(shù)據(jù)存儲：將消息持久化到磁盤。通過將數(shù)據(jù)持久化到硬盤以及replication防止數(shù)據(jù)丟 失。 1. 零拷貝 2. 順序讀，順序?qū)?3. 利用Linux的頁緩存

4. 分布式系統(tǒng)，易于向外擴展。所有的Producer、Broker和Consumer都會有多個，均為分布式 的。無需停機即可擴展機器。多個Producer、Consumer可能是不同的應用。

5. 可靠性 - Kafka是分布式，分區(qū)，復制和容錯的。

6. 客戶端狀態(tài)維護：消息被處理的狀態(tài)是在Consumer端維護，而不是由server端維護。當失敗 時能自動平衡。

7. 支持online和offline的場景。

8. 支持多種客戶端語言。Kafka支持Java、.NET、PHP、Python等多種語言。

三、Kafka應用場景

• 日志收集：一個公司可以用Kafka可以收集各種服務的Log，通過Kafka以統(tǒng)一接口服務的方式開放 給各種Consumer；
• 消息系統(tǒng)：解耦生產(chǎn)者和消費者、緩存消息等；
• 用戶活動跟蹤：Kafka經(jīng)常被用來記錄Web用戶或者App用戶的各種活動，如瀏覽網(wǎng)頁、搜索、點擊 等活動，這些活動信息被各個服務器發(fā)布到Kafka的Topic中，然后消費者通過訂閱這些Topic來做實時的 監(jiān)控分析，亦可保存到數(shù)據(jù)庫；
• 運營指標：Kafka也經(jīng)常用來記錄運營監(jiān)控數(shù)據(jù)。包括收集各種分布式應用的數(shù)據(jù)，生產(chǎn)各種操作的 集中反饋，比如報警和報告；
•  流式處理：比如Spark Streaming和Storm。

四、Kafka基礎架構

消息和批次

Kafka的數(shù)據(jù)單元稱為消息?？梢园严⒖闯墒菙?shù)據(jù)庫里的一個“數(shù)據(jù)行”或一條“記錄”。消息由字節(jié) 數(shù)組組成。 消息有鍵，鍵也是一個字節(jié)數(shù)組。當消息以一種可控的方式寫入不同的分區(qū)時，會用到鍵。 為了提高效率，消息被分批寫入Kafka。批次就是一組消息，這些消息屬于同一個主題和分區(qū)。 把消息分成批次可以減少網(wǎng)絡開銷。批次越大，單位時間內(nèi)處理的消息就越多，單個消息的傳輸時 間就越長。批次數(shù)據(jù)會被壓縮，這樣可以提升數(shù)據(jù)的傳輸和存儲能力，但是需要更多的計算處理。

模式

消息模式（schema）有許多可用的選項，以便于理解。如JSON和XML，但是它們?nèi)狈婎愋吞幚?能力。Kafka的許多開發(fā)者喜歡使用Apache Avro。Avro提供了一種緊湊的序列化格式，模式和消息體分 開。當模式發(fā)生變化時，不需要重新生成代碼，它還支持強類型和模式進化，其版本既向前兼容，也向 后兼容。 數(shù)據(jù)格式的一致性對Kafka很重要，因為它消除了消息讀寫操作之間的耦合性。

主題和分區(qū)

Kafka的消息通過主題進行分類。主題可比是數(shù)據(jù)庫的表或者文件系統(tǒng)里的文件夾。主題可以被分為 若干分區(qū)，一個主題通過分區(qū)分布于Kafka集群中，提供了橫向擴展的能力。

生產(chǎn)者和消費者

生產(chǎn)者創(chuàng)建消息。消費者消費消息。 一個消息被發(fā)布到一個特定的主題上。 生產(chǎn)者在默認情況下把消息均衡地分布到主題的所有分區(qū)上：

1. 直接指定消息的分區(qū)

2. 根據(jù)消息的key散列取模得出分區(qū)

3. 輪詢指定分區(qū)。

消費者通過偏移量來區(qū)分已經(jīng)讀過的消息，從而消費消息。 消費者是消費組的一部分。消費組保證每個分區(qū)只能被一個消費者使用，避免重復消費。

broker和集群

一個獨立的Kafka服務器稱為broker。broker接收來自生產(chǎn)者的消息，為消息設置偏移量，并提交 消息到磁盤保存。broker為消費者提供服務，對讀取分區(qū)的請求做出響應，返回已經(jīng)提交到磁盤上的消 息。單個broker可以輕松處理數(shù)千個分區(qū)以及每秒百萬級的消息量。

每個集群都有一個broker是集群控制器（自動從集群的活躍成員中選舉出來）。 控制器負責管理工作：

• 將分區(qū)分配給broker
•  監(jiān)控broker

集群中一個分區(qū)屬于一個broker，該broker稱為分區(qū)首領。 一個分區(qū)可以分配給多個broker，此時會發(fā)生分區(qū)復制。 分區(qū)的復制提供了消息冗余，高可用。副本分區(qū)不負責處理消息的讀寫。