偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Twitter如何優(yōu)化處理4000億事件的流程

開發(fā)
通過將基于TSAR的舊架構遷移到Twitter數(shù)據(jù)中心和Google Cloud平臺的混合架構,Twitter能夠實時處理數(shù)十億事件,并實現(xiàn)低延遲、高精度、穩(wěn)定性、架構簡化和降低工程師的運營成本。

引言

Twitter實時處理大約4000億事件,并每天生成一個PB(petabyte)的數(shù)據(jù)。Twitter從多種事件源消費數(shù)據(jù),例如分布式數(shù)據(jù)庫、Kafka、Twitter事件總線等。

Twitter訂閱源中的事件調用示例

在這篇文章中,我們將嘗試理解:

  • Twitter過去是如何處理事件的,以及那種方法存在哪些問題?
  • 是什么業(yè)務和客戶影響促使Twitter遷移到新架構?
  • 新架構
  • 舊架構和新架構的性能比較。

為了處理事件,Twitter有自己的一套內部工具,例如:

  • Scalding是Twitter用于批處理的工具。
  • Heron是Twitter自己的流處理引擎。
  • TimeSeriesAggregator(TSAR)用于批處理和實時處理。

在我們深入了解事件系統(tǒng)如何演變之前,讓我們簡要了解一下這四種內部工具。

  • Scalding:Scalding是一個Scala庫,可以輕松指定Hadoop MapReduce作業(yè)。Scalding建立在Cascading之上,Cascading是一個抽象了底層Hadoop細節(jié)的Java庫。Scalding與Pig相當,但提供了與Scala的緊密集成,將Scala的優(yōu)勢帶入MapReduce作業(yè)中。
  • Heron:Apache Heron是Twitter自己的流處理引擎,由于需要處理PB級別的數(shù)據(jù),提高開發(fā)人員的生產(chǎn)力并簡化調試而開發(fā)。Heron中的流應用程序稱為拓撲。拓撲是一個有向無環(huán)圖,其節(jié)點表示數(shù)據(jù)計算元素,邊表示數(shù)據(jù)流動的流。
  • Spouts:它們連接到數(shù)據(jù)源并將數(shù)據(jù)注入流中
  • Bolts:它們處理傳入的數(shù)據(jù)并發(fā)出數(shù)據(jù)

TimeSeriesAggregator:

Twitter的數(shù)據(jù)工程團隊面臨著每天處理數(shù)十億事件的挑戰(zhàn),無論是批處理還是實時處理。TSAR是一個健壯的、可擴展的、實時事件時間序列聚合框架,主要用于監(jiān)控參與度:聚合與推文的互動,按多種維度(如設備、參與類型等)進行分段。

讓我們在非常高的層次上檢查Twitter的工作原理。所有Twitter功能都由遍布全球的微服務支持,包括超過10萬個實例。它們負責生成事件,這些事件被發(fā)送到事件聚合層,該層由Meta的一個開源項目構建。這一層負責對這些事件進行分組,運行聚合作業(yè),并將數(shù)據(jù)存儲在HDFS中。然后處理這些事件,并進行格式轉換,重新壓縮數(shù)據(jù),以創(chuàng)建格式良好的數(shù)據(jù)集。

舊架構

Twitter的舊架構基于lambda架構,它包括批處理層、速度層和服務層。批處理部分是由客戶端生成的日志,并在事件處理后存儲在Hadoop分布式文件系統(tǒng)(HDFS)上。Twitter構建了幾個擴展管道,用于預處理原始日志,并將它們作為離線源攝入到Summingbird平臺中。速度層的實時組件源是Kafka主題。

一旦數(shù)據(jù)被處理,批處理數(shù)據(jù)就存儲在Manhattan分布式系統(tǒng)中,而實時數(shù)據(jù)則存儲在Twitter自己的分布式緩存Nighthawk中。TSAR系統(tǒng),如TSAR查詢服務,查詢緩存和數(shù)據(jù)庫,是服務層的一部分。

Twitter在三個不同的數(shù)據(jù)中心有實時管道和查詢服務。為了減少批處理計算成本,Twitter在一個數(shù)據(jù)中心運行批處理管道,并將數(shù)據(jù)復制到其他兩個數(shù)據(jù)中心。

你能想到為什么實時數(shù)據(jù)會存儲在緩存中而不是數(shù)據(jù)庫中嗎?

舊架構中的挑戰(zhàn)

讓我們嘗試理解這種架構在實時事件處理中可能遇到的挑戰(zhàn)。

讓我們用一個例子來理解這一點:

假設有一個大事件,如FIFA世界杯。推文源將開始向推文拓撲發(fā)送大量事件。解析推文的bolts無法及時處理事件,拓撲內部出現(xiàn)了背壓。當系統(tǒng)長時間處于背壓狀態(tài)時,heron bolts可能會積累spout滯后,這表明系統(tǒng)延遲高。Twitter觀察到,當這種情況發(fā)生時,拓撲滯后的下降需要很長時間。

團隊使用的操作解決方案是重啟Heron容器以重新開始處理流。這可能導致操作期間事件丟失,從而導致緩存中聚合計數(shù)的不準確。

現(xiàn)在讓我們嘗試理解批處理事件的例子。Twitter有幾個重計算管道處理PB級別的數(shù)據(jù),并每小時運行一次,以將數(shù)據(jù)同步到Manhattan數(shù)據(jù)庫中?,F(xiàn)在讓我們想象一下,如果同步作業(yè)需要超過一個小時,而下一個作業(yè)已經(jīng)安排開始。這可能導致系統(tǒng)的背壓增加,并可能導致數(shù)據(jù)丟失。

正如我們所看到的,TSAR查詢服務整合了Manhattan和緩存服務,為客戶提供數(shù)據(jù)。由于實時數(shù)據(jù)可能丟失,TSAR服務可能會向客戶提供不準確的指標。

讓我們嘗試理解促使他們解決這個問題的客戶和業(yè)務影響:

  • Twitter廣告服務是Twitter最主要的收入模式之一,如果其性能受到影響,直接影響他們的商業(yè)模式。
  • Twitter提供各種數(shù)據(jù)產(chǎn)品服務來檢索印象和參與度指標的信息;這些服務會因數(shù)據(jù)不準確而受到影響。
  • 另一個問題是,從事件創(chuàng)建到可用于使用可能需要幾個小時,因為批處理作業(yè)。這意味著客戶端進行的數(shù)據(jù)分析或任何其他操作將不會擁有最新數(shù)據(jù)??赡軙袔讉€小時的時間滯后。

現(xiàn)在,這意味著如果我們想根據(jù)用戶生成的事件更新用戶的時間線,或者根據(jù)用戶與Twitter系統(tǒng)的互動進行用戶行為分析,客戶將無法做到,因為他們需要等待批處理完成。

新架構

新架構建立在Twitter數(shù)據(jù)中心服務和Google Cloud平臺上。Twitter構建了一個事件處理管道,將kafa主題轉換為pub sub主題,然后發(fā)送到Google Cloud。在Google Cloud上,流數(shù)據(jù)流作業(yè)執(zhí)行實時聚合,并將數(shù)據(jù)沉入BigTable中。

對于服務層,Twitter使用了一個在Twitter數(shù)據(jù)中心前端和Bigtable及Bigquery后端的LDC查詢服務。整個系統(tǒng)可以以低延遲(約10毫秒)流式處理每秒數(shù)百萬事件,并且在高流量期間可以輕松擴展。

這種新架構節(jié)省了構建批處理管道的成本,對于實時管道,Twitter能夠實現(xiàn)更高的聚合精度和穩(wěn)定的低延遲。此外,他們不需要在多個數(shù)據(jù)中心維護不同的實時事件聚合。

性能比較

與舊架構中的Heron拓撲相比,新架構提供了更低的延遲,并提供了更高的吞吐量。此外,新架構處理了延遲事件計數(shù),并且在進行實時聚合時不會丟失事件。更重要的是,新架構中沒有批處理組件,因此簡化了設計并減少了舊架構中存在的計算成本。

結論

通過將基于TSAR的舊架構遷移到Twitter數(shù)據(jù)中心和Google Cloud平臺的混合架構,Twitter能夠實時處理數(shù)十億事件,并實現(xiàn)低延遲、高精度、穩(wěn)定性、架構簡化和降低工程師的運營成本。

責任編輯:趙寧寧 來源: 小技術君
相關推薦

2011-05-23 18:47:47

SEO

2018-01-10 09:39:09

2010-08-09 11:14:36

Flex事件處理

2015-10-23 09:37:19

大數(shù)據(jù)醫(yī)療美元

2019-07-08 10:48:38

微軟開源Windows

2013-01-10 12:54:29

大數(shù)據(jù)探討Twitter

2015-07-14 10:53:28

2019-06-26 10:16:52

微軟Windows谷歌

2022-04-14 16:00:51

事件響應流程企業(yè)

2022-07-27 10:30:49

后端前端

2022-04-11 08:30:00

IT網(wǎng)絡安全工作流程

2011-08-29 14:59:26

QtEvent事件

2025-03-28 09:15:50

2011-10-18 08:51:08

蘋果喬布斯股價

2020-12-11 18:58:21

Nginx瀏覽器緩存

2009-08-10 15:52:40

2012-04-11 09:35:04

TwitterMySQL

2015-07-16 10:11:38

TwitterHadoop集群優(yōu)化

2011-01-12 17:27:53

2022-04-19 09:00:52

ReactTypeScript
點贊
收藏

51CTO技術棧公眾號