51CTO首頁(yè)

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線(xiàn)學(xué)習(xí)

文章資源問(wèn)答課堂專(zhuān)欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

Kafka

276內(nèi)容??

關(guān)注

涵蓋Kafka相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，了解這一企業(yè)級(jí)互聯(lián)網(wǎng)架構(gòu)核心產(chǎn)品的更多信息。

文章

共 276 條

快到起飛的Kafka，是如何設(shè)計(jì)的？

消息隊(duì)列是分布式系統(tǒng)中重要的組件，在很多生產(chǎn)環(huán)境如商品搶購(gòu)等需要控制并發(fā)量的場(chǎng)景下都需要用到。

2021-07-06 06:39:58

Kafka 消息隊(duì)列系統(tǒng)

生產(chǎn)者的實(shí)現(xiàn)邏輯-kafka知識(shí)體系(二）

Kafka是最初由Linkedin公司開(kāi)發(fā)，是一個(gè)分布式、支持分區(qū)的（partition）、多副本的（replica），基于zookeeper協(xié)調(diào)的分布式消息系統(tǒng)，它的最大的特性就是可以實(shí)時(shí)的處理大量數(shù)據(jù)以滿(mǎn)足各種需求場(chǎng)景。

2021-07-05 06:26:08

生產(chǎn)者 kafka 架構(gòu)

基礎(chǔ)概念、架構(gòu)和新版的升級(jí)-Kafka知識(shí)體系（一）

Kafka 是一種高吞吐量、分布式、基于發(fā)布/訂閱的消息系統(tǒng)，最初由 LinkedIn 公司開(kāi)發(fā)，使用 Scala (JAVA)語(yǔ)言編寫(xiě)，目前是Apache 的開(kāi)源項(xiàng)目。

2021-07-02 06:27:00

Kafka 架構(gòu)主從架構(gòu)

從一次Kafka宕機(jī)，我明白了Kafka高可用原理

不管是傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)的系統(tǒng)，還是分布式的如 zookeeper 、 redis 、 Kafka 、 HDFS 等等，實(shí)現(xiàn)高可用的辦法通常是采用冗余設(shè)計(jì)，通過(guò)冗余來(lái)解決節(jié)點(diǎn)宕機(jī)不可用問(wèn)題。

2021-06-29 10:18:07

Kafka 宕機(jī)系統(tǒng)

關(guān)于Kafka消費(fèi)者的這些參數(shù)，你應(yīng)該要知道？

個(gè)人覺(jué)得，要想深入了解Kafka Consumer的核心工作機(jī)制可以從它的核心參數(shù)切入，為后續(xù)深入了解它的隊(duì)列負(fù)載機(jī)制、消息拉取模型、消費(fèi)模型、位點(diǎn)提交等機(jī)制打下基礎(chǔ)。

2021-06-28 11:45:28

Kafka 消費(fèi)者參數(shù)

3分鐘帶你徹底搞懂 Kafka

實(shí)時(shí)數(shù)據(jù)處理，從名字上看，很好理解，就是將數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，在現(xiàn)在流行的微服務(wù)開(kāi)發(fā)中，最常用實(shí)時(shí)數(shù)據(jù)處理平臺(tái)有 RabbitMQ、RocketMQ 等消息中間件。

2021-06-18 07:34:12

Kafka 中間件微服務(wù)

《吃透 MQ 系列》之 Kafka 存儲(chǔ)選型的奧秘

從這篇文章開(kāi)始，我將從微觀角度切入，深入分析 Kafka 的設(shè)計(jì)原理。本文要講的是 Kafka 最具代表性的：存儲(chǔ)設(shè)計(jì)。

2021-06-15 15:33:36

存儲(chǔ)選型系統(tǒng)

《吃透 MQ 系列》之 Kafka 架構(gòu)設(shè)計(jì)的任督二脈

Kafka 為實(shí)時(shí)日志流而生，要處理的并發(fā)和數(shù)據(jù)量非常大?？梢?jiàn)，Kafka 本身就是一個(gè)高并發(fā)系統(tǒng)，它必然會(huì)遇到高并發(fā)場(chǎng)景下典型的三高挑戰(zhàn)：高性能、高可用和高擴(kuò)展。

2021-06-10 07:49:27

Kafka 架構(gòu)設(shè)計(jì)

Kafka原理篇：圖解kakfa架構(gòu)原理

決定圖解 Kakfa，卻讓很多半懂不懂的同學(xué)可以加深對(duì) Kafka 實(shí)現(xiàn)原理的理解。

2021-06-09 10:29:23

Kafka 架構(gòu)組件

為什么Kafka如此之快？

Kafka 是由 LinkedIn 公司推出的一個(gè)高吞吐的分布式消息系統(tǒng)，通俗地說(shuō)就是一個(gè)基于發(fā)布和訂閱的消息隊(duì)列，溫故而知新，反復(fù)學(xué)習(xí)優(yōu)秀的框架，定有所獲。

2021-05-31 07:44:08

Kafka 分布式系統(tǒng)

帶你一文入門(mén) Kafka

溫故而知新，反復(fù)學(xué)習(xí)優(yōu)秀的框架，定有所獲。因?yàn)楣ぷ髟颍枰玫?Kafka 的特殊場(chǎng)景，周末再次閱讀了 kafka 的資料，收獲不少。

2021-05-29 10:11:00

Kafa 數(shù)據(jù)業(yè)務(wù)

Kafka能有什么壞心思，不過(guò)是被Zookeeper害慘了……

最近，confluent社區(qū)發(fā)表了一篇文章，主要講述了Kafka未來(lái)的2.8版本將要放棄Zookeeper，這對(duì)于Kafka用戶(hù)來(lái)說(shuō)，是一個(gè)重要的改進(jìn)。之前部署Kafka就必須得部署Zookeeper，而之后就只要單獨(dú)部署Kafka就行了。

2021-05-20 09:06:20

Kafka Zookeeper 分布式

圖解Kafka的核心概念，一看就明白！

Kafka 是主流的消息流系統(tǒng)，其中的概念還是比較多的，下面通過(guò)圖示的方式來(lái)梳理一下 Kafka 的核心概念，以便在我們的頭腦中有一個(gè)清晰的認(rèn)識(shí)。

2021-05-13 07:30:27

Kafka 消息流系統(tǒng)

Golang 語(yǔ)言中 kafka 客戶(hù)端庫(kù) Sarama

Apache Kafka 是一款開(kāi)源的消息引擎系統(tǒng)。它在項(xiàng)目中的作用主要是削峰填谷和解耦。本文我們只介紹 Apache Kafka 的 Golang 客戶(hù)端庫(kù) Sarama。Sarama 是 MIT 許可的 Apache Kafka 0.8 及更高版本的 Golang 客戶(hù)端庫(kù)。

2021-05-07 15:28:03

Kafka 客戶(hù)端 Sarama

使用 Apache Kafka 和 SigNoz 實(shí)現(xiàn)應(yīng)用可觀測(cè)性

SigNoz 是一個(gè)開(kāi)源的應(yīng)用可觀察性平臺(tái)。SigNoz 是用 React 和 Go 編寫(xiě)的，它從頭到尾都是為了讓開(kāi)發(fā)者能夠以最小的精力盡快實(shí)現(xiàn)他們的可觀察性目標(biāo)。本文將詳細(xì)介紹該軟件，包括架構(gòu)、基于 Kubernetes 的部署以及一些常見(jiàn)的 SigNoz 用途。

2021-05-04 18:28:23

Apache Kafk SigNoz 開(kāi)源

Kafka 2.8.0發(fā)布，與ZooKeeper正式分手！

平時(shí)關(guān)注 Kafka 的小伙伴要注意了，2021年4月19日，Kafka 2.8.0正式發(fā)布!

2021-04-30 08:29:16

Kafka ZooKeeper 分布式

帥呆了！Kafka移除了Zookeeper！

2021-04-28 18:28:44

Kafka Zookeeper

Java工程師的進(jìn)階之路Kafka篇

Kafka 是最初由 Linkedin 公司開(kāi)發(fā)，是一個(gè)分布式、支持分區(qū)的（partition）、多副本的（replica），基于zookeeper 協(xié)調(diào)的分布式消息系統(tǒng)，它的最大的特性就是可以實(shí)時(shí)的處理大量數(shù)據(jù)以滿(mǎn)足各種需求場(chǎng)景。

2021-04-26 09:25:10

Java Kafka 架構(gòu)

知其然而知其所以然，為什么Kafka在2.8版本中會(huì)“拋棄”Zookeeper

相信大家最近一定關(guān)注到一款重量級(jí)消息中間件Kafka發(fā)布了2.8版本，并且正式移除了對(duì)Zookeeper的依賴(lài)，背后的設(shè)計(jì)哲學(xué)是什么呢?僅僅只是減少了一個(gè)外部依賴(lài)嗎?

2021-04-21 17:54:02

Kafka Zookeeper 場(chǎng)景

9張圖，Kafka為什么要放棄Zookeeper

2021-04-21 12:29:45

Kafka Zookeeper 模型

《吃透 MQ 系列》之打通 Kafka 的任督二脈

把握住了這個(gè)關(guān)鍵點(diǎn)，我相信你將能更好地理解 Kafka 的架構(gòu)設(shè)計(jì)，進(jìn)而順藤摸瓜地掌握 Kafka 的核心技術(shù)方案。

2021-04-20 19:20:57

Kafka 架構(gòu)設(shè)計(jì)

Kafka原理篇：圖解kakfa架構(gòu)原理

今天我們來(lái)深入講解 Kafka 的架構(gòu)和實(shí)現(xiàn)原理。[碼哥]將從架構(gòu)和細(xì)節(jié)入手，以生動(dòng)的圖深入講解 Kafka 的實(shí)現(xiàn)原理。

2021-04-09 08:54:14

Kafka 源碼架構(gòu)開(kāi)發(fā)技術(shù)

Kafka如何保證高可用？有圖有真相

Kafka允許同一個(gè)Partition存在多個(gè)消息副本，每個(gè)Partition的副本通常由1個(gè)Leader及0個(gè)以上的Follower組成，生產(chǎn)者將消息直接發(fā)往對(duì)應(yīng)Partition的Leader，F(xiàn)ollower會(huì)周期地向Leader發(fā)送同步請(qǐng)求。

2021-04-06 20:46:50

Kafka 高可用 Leader

《吃透 MQ 系列》之扒開(kāi) Kafka 的神秘面紗

這篇文章拖更了好幾周，起初的想法是：圍繞每一個(gè)具體的消息中間件，不僅要寫(xiě)透，而且要控制好篇幅，寫(xiě)下來(lái)發(fā)現(xiàn)實(shí)在太難了，兩者很難兼得。

2021-03-28 20:44:34

Kafka 中間件 MQ

Kafka性能篇：為何Kafka這么"快"？

在學(xué)習(xí) Kafka 的過(guò)程中，發(fā)現(xiàn) Kafka 也是一個(gè)性能十分優(yōu)秀的中間件，遂要求『碼哥』講一講 Kafka 性能優(yōu)化方面的知識(shí)，所以『碼哥』決定將這篇性能方面的博文作為 Kafka 系列的開(kāi)篇之作。

2021-03-22 08:30:33

Kafka 源碼架構(gòu)開(kāi)發(fā)技術(shù)

超詳細(xì)講解，帶你零基礎(chǔ)入門(mén)kafka！

本文超詳細(xì)的講解了零基礎(chǔ)入門(mén)kafka，一起來(lái)看看吧。

2021-03-11 11:50:07

kafka 服務(wù)器 Java

如何在 .NET 中使用 Kafka

Kafka 是一個(gè)開(kāi)源的，分布式的，可擴(kuò)展的，高性能的發(fā)布訂閱模式的消息中間件，如果你要構(gòu)建一個(gè)處理海量數(shù)據(jù)的系統(tǒng)，那么 Kafka 將會(huì)是一個(gè)非常好的選擇，這篇文章我們將會(huì)討論如何基于 Kakfa 構(gòu)建一個(gè)發(fā)布訂閱模式的程序。

2021-03-09 07:27:40

Kafka 開(kāi)源分布式

Kafka又出問(wèn)題了！

作者個(gè)人研發(fā)的在高并發(fā)場(chǎng)景下，提供的簡(jiǎn)單、穩(wěn)定、可擴(kuò)展的延遲消息隊(duì)列框架，具有精準(zhǔn)的定時(shí)任務(wù)和延遲隊(duì)列處理功能。

2021-03-02 06:02:03

Kafka 高并發(fā)系統(tǒng)

如何在Windows上運(yùn)行Apache Kafka？譯文

本文介紹了如何在WSL 2支持的Linux環(huán)境中的Windows上運(yùn)行Apache Kafka，以便最大程度地提高性能和穩(wěn)定性。

2021-02-25 08:00:00

Windows Windows 10 開(kāi)發(fā)

在線(xiàn)等，Kafka如果丟了消息怎么辦？

Kafka 存在丟消息的問(wèn)題，消息丟失會(huì)發(fā)生在 Broker，Producer 和 Consumer 三種。

2021-02-24 08:38:48

Kafka 消息 Consumer

我用Kafka兩年踩過(guò)的一些非比尋常的坑

我的上家公司是做餐飲系統(tǒng)的，每天中午和晚上用餐高峰期，系統(tǒng)的并發(fā)量不容小覷。為了保險(xiǎn)起見(jiàn)，公司規(guī)定各部門(mén)都要在吃飯的時(shí)間輪流值班，防止出現(xiàn)線(xiàn)上問(wèn)題時(shí)能夠及時(shí)處理。

2021-02-21 09:28:24

kafka 系統(tǒng)并發(fā)量

六問(wèn) Kafka 為啥那么牛！

Kafka 是一個(gè)分布式的基于發(fā)布/訂閱模式的消息隊(duì)列，依靠其強(qiáng)悍的吞吐量，Kafka 主要應(yīng)用于大數(shù)據(jù)實(shí)時(shí)處理領(lǐng)域。在數(shù)據(jù)采集、傳輸、存儲(chǔ)的過(guò)程中發(fā)揮著舉足輕重的作用。

2021-02-01 20:35:49

Kafka 大數(shù)據(jù)數(shù)據(jù)

我為什么放棄Kafka，選擇Pulsar？

最近，我一直在研究 Pulsar 及其與 Kafka 的比較。通過(guò)快速搜索，你會(huì)看到這兩個(gè)最著名的開(kāi)源消息傳遞系統(tǒng)之間正在進(jìn)行的"戰(zhàn)爭(zhēng)"。

2021-02-01 07:20:51

Kafka Pulsar 搜索

你都知道那些Kafka副本機(jī)制？

在日常開(kāi)發(fā)過(guò)程中使用kafka來(lái)實(shí)限流削峰作用但是往往kafka會(huì)存放多份副本來(lái)防止數(shù)據(jù)丟失，那你知道他的機(jī)制是什么樣的嗎?本篇文章就帶給大家講解下。

2021-01-28 18:52:57

Kafka 副本機(jī)制

再見(jiàn)，Kafka！再見(jiàn)，RocketMQ！

Pulsar 是一個(gè)由 Yahoo 公司于 2016 年開(kāi)源的消息中間件，2018 年成為 Apache 的頂級(jí)項(xiàng)目。

2021-01-21 07:16:03

RocketMQ Kafka 中間件

老少皆宜的Kafka長(zhǎng)文，讓你明白什么叫本分

看完本文，你將明白為什么一個(gè)簡(jiǎn)單的消息隊(duì)列，能夠有那么多的知識(shí)點(diǎn);能夠了解到Kafka的主要功能和應(yīng)用場(chǎng)景;能夠了解到Kafka的主要技術(shù)術(shù)語(yǔ)。了解到什么叫本分!

2021-01-15 18:28:57

Kafka 消息系統(tǒng)

搜狗開(kāi)源框架發(fā)布純自研C++ Kafka客戶(hù)端

一個(gè)fetch消息的任務(wù)由一組任務(wù)組成，其中包括獲取Kafka Broker的Meta任務(wù)、一系列的消費(fèi)者組相關(guān)的任務(wù)、獲取offset的任務(wù)和真正的拉取消息的任務(wù)。

2020-12-28 14:36:03

辦公

Kafka集群的搭建

最近在學(xué)習(xí) kafka ，此處記錄一下 mac 上搭建 kafka 集群的步驟。由于 kafka 依賴(lài) zookeeper 因此需要安裝 zookeeper ，而 kafka 是基于 scala 語(yǔ)言編寫(xiě)， scala 又是基于 jdk 的，因此需要安裝 jdk 。

2020-12-14 12:48:51

Kafka 集群節(jié)點(diǎn)

圖文詳解：Kafka到底有哪些秘密讓我對(duì)它情有獨(dú)鐘呢？

好了，開(kāi)始進(jìn)入正題。今天給大家?guī)?lái)的的是關(guān)于我們的老朋友Kafka的來(lái)世今生。隨著對(duì)實(shí)時(shí)性的要求越來(lái)越高，那么在龐大的數(shù)據(jù)的傳輸過(guò)程中怎么能保證數(shù)據(jù)的快速傳遞呢，由此，消息隊(duì)列產(chǎn)生了。

2020-12-11 11:25:30

Kafka 傳輸開(kāi)發(fā)

Kafka中改進(jìn)的二分查找算法

最近有學(xué)習(xí)些Kafak的源碼，想給大家分享下Kafak中改進(jìn)的二分查找算法。二分查找，是每個(gè)程序員都應(yīng)掌握的基礎(chǔ)算法，而Kafka是如何改進(jìn)二分查找來(lái)應(yīng)用于自己的場(chǎng)景中，這很值得我們了解學(xué)習(xí)。

2020-12-08 06:32:04

Kafka 二分查找

《Kafka成神之路》之三圖搞懂分區(qū)、組消費(fèi)模式

直接由客戶(hù)端(任一語(yǔ)言編寫(xiě))使用Kafka提供的協(xié)議向服務(wù)器發(fā)送RPC請(qǐng)求獲取數(shù)據(jù)，服務(wù)器接受到客戶(hù)端的RPC請(qǐng)求后，將數(shù)據(jù)構(gòu)造成RPC響應(yīng)，返回給客戶(hù)端，客戶(hù)端解析相應(yīng)的RPC響應(yīng)獲取數(shù)據(jù)。

2020-12-04 10:31:56

組消費(fèi)分區(qū)Kafka

基于Kafka+Flink平臺(tái)化設(shè)計(jì)，實(shí)時(shí)數(shù)倉(cāng)還能這樣建

本文由網(wǎng)易云音樂(lè)實(shí)時(shí)計(jì)算平臺(tái)研發(fā)工程師岳猛分享，主要從以下四個(gè)部分將為大家介紹 Flink + Kafka 在網(wǎng)易云音樂(lè)的應(yīng)用實(shí)戰(zhàn)。

2020-12-01 15:06:46

Kafka Flink 數(shù)據(jù)倉(cāng)庫(kù)

在邊緣處部署Kafka的用例與架構(gòu) 譯文

本文通過(guò)介紹邊緣處Kafka的用例與架構(gòu)，幫助您更好地了解如何在各個(gè)行業(yè)中，利用事件流和工具來(lái)構(gòu)建從邊緣到云端的物聯(lián)網(wǎng)架構(gòu)。

2020-11-17 09:00:00

Kafka 架構(gòu)物聯(lián)網(wǎng)

架構(gòu)師的選擇，Pulsar還是Kafka？

在本文中，我將重點(diǎn)介紹Pulsar的優(yōu)勢(shì)，并為您提供一些理由，使您對(duì)比Kafka來(lái)考慮它。

2020-11-14 11:23:18

Pulsar Kafka 架構(gòu)師

Kafka之消費(fèi)與心跳

kafka是一個(gè)分布式，分區(qū)的，多副本的，多訂閱者的消息發(fā)布訂閱系統(tǒng)（分布式MQ系統(tǒng)），可以用于搜索日志，監(jiān)控日志，訪問(wèn)日志等。kafka是一個(gè)分布式，分區(qū)的，多副本的，多訂閱者的消息發(fā)布訂閱系統(tǒng)（分布式MQ系統(tǒng)），可以用于搜索日志，監(jiān)控日志，訪問(wèn)日志等。今天小編來(lái)領(lǐng)大家一起來(lái)學(xué)習(xí)一下Kafka消費(fèi)與心跳機(jī)制。

2020-11-13 10:58:24

Kafka

刨根問(wèn)底,Kafka消息中間件到底會(huì)不會(huì)丟消息

大型互聯(lián)網(wǎng)公司一般都會(huì)要求消息傳遞最大限度的不丟失，比如用戶(hù)服務(wù)給代金券服務(wù)發(fā)送一個(gè)消息，如果消息丟失會(huì)造成用戶(hù)未收到應(yīng)得的代金券，最終用戶(hù)會(huì)投訴。

2020-11-13 07:14:55

Kafka 消息中間件

記一次生產(chǎn) Kafka 掛掉的那幾分鐘

Hello，大家好，我是阿粉，作為一個(gè)后端工程師不經(jīng)歷幾次生產(chǎn)事故怎么能成長(zhǎng)!阿粉工作幾年來(lái)，大大小小，重要不重要的事故也經(jīng)歷了不少，有損失幾十萬(wàn)的，有對(duì)業(yè)務(wù)毫無(wú)影響但是不應(yīng)該發(fā)生的，每一次事故都是一次成長(zhǎng)，而且從每次的事故中阿粉都能學(xué)到很多東西，不單單是解決問(wèn)題，更重要的是對(duì)線(xiàn)上有了更深的敬意!

2020-11-03 07:34:12

Kafka 后端工程師

詳解Kafka端到端的延遲

這篇文章將幫助你進(jìn)一步獲得更好的直覺(jué)和對(duì)端到端延遲的理解，并配置和擴(kuò)展您的應(yīng)用程序的吞吐量，同時(shí)保持延遲的界限。

2020-10-26 13:51:11

Kafka 數(shù)據(jù)端到端

如何使用Docker內(nèi)的Kafka服務(wù)？消息服務(wù)測(cè)試實(shí)踐篇

Kafka是一種高吞吐量的分布式架構(gòu)的發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者在網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。通常由于高吞吐量的要求而選擇通過(guò)處理日志數(shù)據(jù)和日志聚合來(lái)解決。

2020-10-24 17:28:04

Docker Kafka服務(wù)分布式

漫畫(huà)講解Kafka高效的存儲(chǔ)設(shè)計(jì)

索引文件存儲(chǔ)大量元數(shù)據(jù)，數(shù)據(jù)文件存儲(chǔ)大量消息，索引文件中元數(shù)據(jù)指向?qū)?yīng)數(shù)據(jù)文件中message的物理偏移地址。

2020-10-22 09:37:39

存儲(chǔ)Kafka 設(shè)計(jì)

上一頁(yè) 1 2 3 4 5 6 下一頁(yè)

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Kafka