偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Twitter開源了其流處理框架Summingbird

開源
Summingbird是一個(gè)大規(guī)模數(shù)據(jù)處理系統(tǒng),支持開發(fā)者以批處理模式(基于Hadoop/MapReduce)或流處理模式(基于Storm)或混合模式(即組合前兩種模式)以統(tǒng)一的方式執(zhí)行代碼。為了處理5億的Tweet并能持續(xù)成長(zhǎng),Twitter開源了其MapReduce流處理框架Summingbird。

Twitter開源了其MapReduce流處理框架Summingbird。Summingbird是一個(gè)大規(guī)模數(shù)據(jù)處理系統(tǒng),支持開發(fā)者以批處理模式(基于Hadoop/MapReduce)或流處理模式(基于Storm)或混合模式(即組合前兩種模式)以統(tǒng)一的方式執(zhí)行代碼。它基于Apache 2許可發(fā)布。

現(xiàn)在的軟件棧需要手工集成MapReduce (Pig/Scalding)和基于流(Storm)的代碼,為了處理5億的Tweet并能持續(xù)成長(zhǎng),Twitter必須尋找一個(gè)替代品。關(guān)于創(chuàng)建Summingbird的主要?jiǎng)訖C(jī),Twitter的工程師提到,在于他們意識(shí)到,由于以下原因,在Storm上運(yùn)行一個(gè)完全實(shí)時(shí)的系統(tǒng)非常困難:

  • 要重新計(jì)算數(shù)月的歷史日志,必須與Hadoop進(jìn)行協(xié)作,或者是通過(guò)某種定制的日志加載機(jī)制形成通過(guò)Storm的流。
  • Storm專注的是消息傳遞,隨機(jī)寫入數(shù)據(jù)庫(kù)很難維護(hù)。

正是這一洞見推動(dòng)了Summingbird這一靈活而通用的方案的出現(xiàn),它用于解決工程師使用現(xiàn)有方法遇到的實(shí)際問(wèn)題:

  • 兩個(gè)不同系統(tǒng)中的兩組聚合邏輯必須保持同步
  • 在每個(gè)系統(tǒng)和客戶端之間,鍵和值必須一致地進(jìn)行序列化
  • 客戶端要負(fù)責(zé)從兩個(gè)數(shù)據(jù)存儲(chǔ)讀取數(shù)據(jù)、執(zhí)行***的聚合并提供合并結(jié)果

Summingbird也是***批可以公開獲得的Lambda架構(gòu)兼容系統(tǒng)中的一個(gè)。類似的項(xiàng)目包括Yahoo的Storm-YARN 和一家西班牙創(chuàng)業(yè)公司即將發(fā)布的Lambdoop。Lambdoop是一個(gè)Java框架,用于以與Lambda架構(gòu)一致的方式開發(fā)大數(shù)據(jù)應(yīng)用。Lambda架構(gòu)的特色是有一個(gè)不可修改、只能追加數(shù)據(jù)的主數(shù)據(jù)庫(kù),并組合了批處理、服務(wù)和加速等不同的層。這些特色支持開發(fā)者構(gòu)建健壯的、可以進(jìn)行批處理和流處理的大規(guī)模數(shù)據(jù)處理系統(tǒng),其使用案例涉及從物聯(lián)網(wǎng)(智能城市、可穿戴設(shè)備和制造業(yè))之上的社交媒體平臺(tái)(比如Twitter、LinkedIn等)到金融行業(yè)(欺詐檢測(cè)和推薦)等。

Summingbird的主要設(shè)計(jì)者Oscar Boykin、Sam Ritchie(計(jì)算機(jī)科學(xué)界的傳奇人物Dennis Ritchie的侄子)和Ashutosh Singhal 進(jìn)一步透露了該框架的路線圖:

  • 支持Apache Spark和列式數(shù)據(jù)存儲(chǔ)格式Parquet
  • 在Summingbird的Producer原語(yǔ)之上的高層數(shù)學(xué)庫(kù)和機(jī)器學(xué)習(xí)代碼
  • 與 相關(guān)開源項(xiàng)目(比如Algebird和Storehaus)更深度的集成

查看英文原文:Twitter Open-Sources its MapReduce Streaming Framework Summingbird

責(zé)任編輯:黃丹 來(lái)源: infoq
相關(guān)推薦

2012-04-11 09:52:32

開源MySQL

2012-04-10 13:48:58

MySQL

2012-04-11 09:35:04

TwitterMySQL

2020-11-16 08:54:05

Google 開源技術(shù)

2012-07-20 15:03:49

微軟開源

2022-12-14 09:51:04

Twitter開源

2023-04-04 19:10:29

Twitter算法開源

2013-02-21 16:27:07

開源開源流計(jì)算

2013-11-05 10:02:15

IBMTwitter侵犯專利

2015-06-24 10:17:24

UI流式布局

2011-11-21 10:04:52

Java開源Google

2014-01-13 09:36:37

Twitter開源軟件

2014-04-02 09:48:59

Twitter.comJavaScript

2013-09-05 09:47:35

TwitterSummingbird開源

2013-01-25 10:16:38

開源開放

2016-10-17 15:04:02

開源DistributedApache Kafk

2013-01-25 09:32:16

開放平臺(tái)谷歌GitHub

2012-12-06 10:59:51

大數(shù)據(jù)

2021-02-04 12:46:54

谷歌開源安全漏洞

2013-10-12 12:56:46

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)