?目錄

• 1、頁緩存技術(shù) + 磁盤順序?qū)?/li>
• 2、零拷貝技術(shù)
• 3、最后的總結(jié)

這篇文章來聊一下Kafka的一些架構(gòu)設(shè)計原理，這也是互聯(lián)網(wǎng)公司面試時非常高頻的技術(shù)考點。

Kafka是高吞吐低延遲的高并發(fā)、高性能的消息中間件，在大數(shù)據(jù)領(lǐng)域有極為廣泛的運(yùn)用。配置良好的Kafka集群甚至可以做到每秒幾十萬、上百萬的超高并發(fā)寫入。

那么Kafka到底是如何做到這么高的吞吐量和性能的呢？這篇文章我們來一點一點說一下。

1、頁緩存技術(shù) + 磁盤順序?qū)?/h4>

首先Kafka每次接收到數(shù)據(jù)都會往磁盤上去寫，如下圖所示。

那么在這里我們不禁有一個疑問了，如果把數(shù)據(jù)基于磁盤來存儲，頻繁的往磁盤文件里寫數(shù)據(jù)，這個性能會不會很差？大家肯定都覺得磁盤寫性能是極差的。

沒錯，要是真的跟上面那個圖那么簡單的話，那確實這個性能是比較差的。

但是實際上Kafka在這里有極為優(yōu)秀和出色的設(shè)計，就是為了保證數(shù)據(jù)寫入性能，首先Kafka是基于操作系統(tǒng)的頁緩存來實現(xiàn)文件寫入的。

操作系統(tǒng)本身有一層緩存，叫做page cache，是在內(nèi)存里的緩存，我們也可以稱之為os cache，意思就是操作系統(tǒng)自己管理的緩存。

你在寫入磁盤文件的時候，可以直接寫入這個os cache里，也就是僅僅寫入內(nèi)存中，接下來由操作系統(tǒng)自己決定什么時候把os cache里的數(shù)據(jù)真的刷入磁盤文件中。

僅僅這一個步驟，就可以將磁盤文件寫性能提升很多了，因為其實這里相當(dāng)于是在寫內(nèi)存，不是在寫磁盤，大家看下圖。

接著另外一個就是kafka寫數(shù)據(jù)的時候，非常關(guān)鍵的一點，他是以磁盤順序?qū)懙姆绞絹韺懙?。也就是說，僅僅將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。

普通的機(jī)械磁盤如果你要是隨機(jī)寫的話，確實性能極差，也就是隨便找到文件的某個位置來寫數(shù)據(jù)。

但是如果你是追加文件末尾按照順序的方式來寫數(shù)據(jù)的話，那么這種磁盤順序?qū)懙男阅芑旧峡梢愿鷮憙?nèi)存的性能本身也是差不多的。

所以大家就知道了，上面那個圖里，Kafka在寫數(shù)據(jù)的時候，一方面基于了os層面的page cache來寫數(shù)據(jù)，所以性能很高，本質(zhì)就是在寫內(nèi)存罷了。

另外一個，他是采用磁盤順序?qū)懙姆绞剑约词箶?shù)據(jù)刷入磁盤的時候，性能也是極高的，也跟寫內(nèi)存是差不多的。

基于上面兩點，kafka就實現(xiàn)了寫入數(shù)據(jù)的超高性能。

那么大家想想，假如說kafka寫入一條數(shù)據(jù)要耗費(fèi)1毫秒的時間，那么是不是每秒就是可以寫入1000條數(shù)據(jù)？

但是假如kafka的性能極高，寫入一條數(shù)據(jù)僅僅耗費(fèi)0.01毫秒呢？那么每秒是不是就可以寫入10萬條數(shù)？

所以要保證每秒寫入幾萬甚至幾十萬條數(shù)據(jù)的核心點，就是盡最大可能提升每條數(shù)據(jù)寫入的性能，這樣就可以在單位時間內(nèi)寫入更多的數(shù)據(jù)量，提升吞吐量。

2、零拷貝技術(shù)

說完了寫入這塊，再來談?wù)勏M(fèi)這塊。

大家應(yīng)該都知道，從Kafka里我們經(jīng)常要消費(fèi)數(shù)據(jù)，那么消費(fèi)的時候?qū)嶋H上就是要從kafka的磁盤文件里讀取某條數(shù)據(jù)然后發(fā)送給下游的消費(fèi)者，如下圖所示。

那么這里如果頻繁的從磁盤讀數(shù)據(jù)然后發(fā)給消費(fèi)者，性能瓶頸在哪里呢？

假設(shè)要是kafka什么優(yōu)化都不做，就是很簡單的從磁盤讀數(shù)據(jù)發(fā)送給下游的消費(fèi)者，那么大概過程如下所示：

先看看要讀的數(shù)據(jù)在不在os cache里，如果不在的話就從磁盤文件里讀取數(shù)據(jù)后放入os cache。

接著從操作系統(tǒng)的os cache里拷貝數(shù)據(jù)到應(yīng)用程序進(jìn)程的緩存里，再從應(yīng)用程序進(jìn)程的緩存里拷貝數(shù)據(jù)到操作系統(tǒng)層面的Socket緩存里，最后從Socket緩存里提取數(shù)據(jù)后發(fā)送到網(wǎng)卡，最后發(fā)送出去給下游消費(fèi)。

整個過程，如下圖所示：

大家看上圖，很明顯可以看到有兩次沒必要的拷貝吧！

一次是從操作系統(tǒng)的cache里拷貝到應(yīng)用進(jìn)程的緩存里，接著又從應(yīng)用程序緩存里拷貝回操作系統(tǒng)的Socket緩存里。

而且為了進(jìn)行這兩次拷貝，中間還發(fā)生了好幾次上下文切換，一會兒是應(yīng)用程序在執(zhí)行，一會兒上下文切換到操作系統(tǒng)來執(zhí)行。

所以這種方式來讀取數(shù)據(jù)是比較消耗性能的。

Kafka為了解決這個問題，在讀數(shù)據(jù)的時候是引入零拷貝技術(shù)。

也就是說，直接讓操作系統(tǒng)的cache中的數(shù)據(jù)發(fā)送到網(wǎng)卡后傳輸給下游的消費(fèi)者，中間跳過了兩次拷貝數(shù)據(jù)的步驟，Socket緩存中僅僅會拷貝一個描述符過去，不會拷貝數(shù)據(jù)到Socket緩存。

大家看下圖，體會一下這個精妙的過程：

通過零拷貝技術(shù)，就不需要把os cache里的數(shù)據(jù)拷貝到應(yīng)用緩存，再從應(yīng)用緩存拷貝到Socket緩存了，兩次拷貝都省略了，所以叫做零拷貝。

對Socket緩存僅僅就是拷貝數(shù)據(jù)的描述符過去，然后數(shù)據(jù)就直接從os cache中發(fā)送到網(wǎng)卡上去了，這個過程大大的提升了數(shù)據(jù)消費(fèi)時讀取文件數(shù)據(jù)的性能。

而且大家會注意到，在從磁盤讀數(shù)據(jù)的時候，會先看看os cache內(nèi)存中是否有，如果有的話，其實讀數(shù)據(jù)都是直接讀內(nèi)存的。

如果kafka集群經(jīng)過良好的調(diào)優(yōu)，大家會發(fā)現(xiàn)大量的數(shù)據(jù)都是直接寫入os cache中，然后讀數(shù)據(jù)的時候也是從os cache中讀。

相當(dāng)于是Kafka完全基于內(nèi)存提供數(shù)據(jù)的寫和讀了，所以這個整體性能會極其的高。

3、最后的總結(jié)

通過這篇文章對kafka底層的頁緩存技術(shù)的使用，磁盤順序?qū)懙乃悸?，以及零拷貝技術(shù)的運(yùn)用，大家應(yīng)該就明白Kafka每臺機(jī)器在底層對數(shù)據(jù)進(jìn)行寫和讀的時候采取的是什么樣的思路，為什么他的性能可以那么高，做到每秒幾十萬的吞吐量。

這種設(shè)計思想對我們平時自己設(shè)計中間件的架構(gòu)，或者是出去面試的時候，都有很大的幫助。?