[[173277]]

我給大家?guī)?lái)的演講內(nèi)容是關(guān)于“使用超大規(guī)模數(shù)據(jù)分析技術(shù)支持大數(shù)據(jù)預(yù)測(cè)”這方面的。首先介紹一下我自己，我叫韓卿，很多人叫我Luke。我是Kyligence公司的聯(lián)合創(chuàng)始人兼CEO，Apache Kylin開(kāi)源項(xiàng)目的創(chuàng)始人，同時(shí)也是這個(gè)項(xiàng)目的項(xiàng)目管理委員會(huì)主席，以及Apache軟件基金會(huì)會(huì)員。

一、超大規(guī)模數(shù)據(jù)分析的挑戰(zhàn)

Hadoop

首先，我想和大家分享一下我們?cè)诖髷?shù)據(jù)技術(shù)領(lǐng)域碰到的挑戰(zhàn)，這里在座很多朋友都是從傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)出來(lái)的，事實(shí)上以前是沒(méi)有Hadoop的，因此數(shù)據(jù)并不是很大，我記得在07年、08年的時(shí)候，那時(shí)候說(shuō)沃爾瑪是全球***的數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)量是幾個(gè)PB。那么如今又是怎樣的量級(jí)呢?我原來(lái)在ebay工作，今年年初的時(shí)候ebay的整個(gè)Hadoop數(shù)據(jù)量已經(jīng)超過(guò)幾百個(gè)PB了，但這還不是***的。由此可以看出，在這短短幾年之間，數(shù)據(jù)的膨脹是相當(dāng)大的。

Hadoop平臺(tái)今年正好是第十年，發(fā)展到今天，它非常擅長(zhǎng)批量處理，這里大部分的企業(yè)都用它做過(guò)批量的東西。那帶來(lái)的***個(gè)問(wèn)題是什么呢?比如說(shuō)，我的數(shù)據(jù)已經(jīng)在Hadoop上面了，那么后面不管是報(bào)表分析、交叉分析還是預(yù)測(cè)分析，是不是也應(yīng)該在平臺(tái)上面直接去做?但現(xiàn)實(shí)告訴我們，由于各種各樣的挑戰(zhàn)，很多時(shí)候在Hadoop上面把數(shù)據(jù)處理完又被扔回到數(shù)據(jù)倉(cāng)庫(kù)里面了。

傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)非常擅長(zhǎng)大型的交互式分析和復(fù)雜分析，但它面臨的問(wèn)題是如此龐大的數(shù)據(jù)無(wú)法全部?jī)?chǔ)存在里面，或者說(shuō)如果存下如此大量的數(shù)據(jù)，它的成本是很恐怖的。我們?cè)趀bay的時(shí)候做過(guò)一個(gè)測(cè)算，在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)上面每TB的存儲(chǔ)成本遠(yuǎn)遠(yuǎn)超過(guò)在Hadoop上面每PB的存儲(chǔ)成本，這是基于我們投資成本算出來(lái)的。一個(gè)TB和一個(gè)PB相差1024倍，如果說(shuō)我們將在Hadoop上面的200多個(gè)PB的數(shù)據(jù)都放在傳統(tǒng)數(shù)據(jù)庫(kù)上面，那肯定是不現(xiàn)實(shí)的。至于我們?cè)撊绾卧贖adoop大數(shù)據(jù)平臺(tái)上將分析能力提供出來(lái)，是我們當(dāng)時(shí)面臨的巨大挑戰(zhàn)。

數(shù)據(jù)挖掘與數(shù)據(jù)預(yù)測(cè)

另外，在數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)測(cè)的時(shí)候，這個(gè)需求非常的旺盛。以前人們更多的是說(shuō)要做一個(gè)報(bào)表，而這兩年人們傾向于建立一個(gè)系統(tǒng)，進(jìn)行風(fēng)控控制、數(shù)據(jù)預(yù)測(cè)、挖掘等。但這又引出了一個(gè)問(wèn)題：這么大的數(shù)據(jù)量我怎么能夠在最快的時(shí)間內(nèi)提供給你完整的分析結(jié)果，能夠滿足你在具備傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)?zāi)芰Φ那闆r下又能夠利用大數(shù)據(jù)的平臺(tái)進(jìn)行工作，我覺(jué)得這是我們今天面臨的巨大挑戰(zhàn)。

二、Apache Kylin快速分析解決方案

在ebay工作的時(shí)候，我們發(fā)現(xiàn)在Hadoop上面如果直接進(jìn)行分析是不可能的，因?yàn)槲业姆治鰩煵豢赡芑ㄙM(fèi)很長(zhǎng)時(shí)間去等一個(gè)分析結(jié)果。如果說(shuō)我們把數(shù)據(jù)都放到DW里面也不能現(xiàn)實(shí)，至少成本上面是不可接受的。所以導(dǎo)致我們那時(shí)候探索了很多這方面的技術(shù)，無(wú)論是商業(yè)的技術(shù)，還是開(kāi)源的技術(shù)，最終發(fā)現(xiàn)沒(méi)有一個(gè)技術(shù)能夠滿足我們的需求，這件事情發(fā)生在2013年9月份，是三年以前。

所以后來(lái)我們?cè)谏虾５膸孜煌孪胍蛔约涸囋嚳?，我們的架?gòu)師真的蠻厲害的，在9月份做出的決定，國(guó)慶節(jié)回來(lái)就說(shuō)跑通了，當(dāng)然我們也花了很多的力氣去說(shuō)服管理層、說(shuō)服我們的客戶以及合作伙伴。

這里面解釋一下，這個(gè)項(xiàng)目叫做Apache Kylin，也是我們目前活下來(lái)的唯一項(xiàng)目。Apache Kylin這個(gè)名字在Apache軟件基金會(huì)里面也是唯一一個(gè)中國(guó)來(lái)，我們覺(jué)得還是蠻驕傲的。

我們完全可以說(shuō)在開(kāi)源領(lǐng)域里面我們是***的OLAP on Hadoop的解決方案。這里澄清一下，我們做的并不是SQL，我們做的是OLAP on Hadoop，叫做多維分析或者更大一點(diǎn)叫做數(shù)據(jù)集市。今天只要搜索這樣幾個(gè)關(guān)鍵字，不管在谷歌還是百度上面，基本上我們都是***。

整個(gè)社區(qū)發(fā)展是非常快的，我們這個(gè)社區(qū)活躍度非常好，以及有一百多家公司了。最重要的是這是唯一一個(gè)來(lái)自中國(guó)的***項(xiàng)目，這意味著我們的項(xiàng)目跟Apache的Hadoop是一個(gè)級(jí)別的，是中國(guó)開(kāi)發(fā)者社區(qū)的代表。Apache孵化器的副總裁，也是我們的導(dǎo)師，當(dāng)時(shí)我們剛剛加入進(jìn)去的時(shí)候，整個(gè)社區(qū)對(duì)我們并不看好，說(shuō)歡迎中國(guó)人過(guò)來(lái)玩，但不覺(jué)得你們能畢業(yè)。

但當(dāng)我們花了11個(gè)月畢業(yè)，并成為***項(xiàng)目的時(shí)候，整個(gè)社區(qū)對(duì)我們的認(rèn)可度是非常高的。說(shuō)我們代表了整個(gè)亞洲國(guó)家，特別是中國(guó)人在整個(gè)開(kāi)源社區(qū)的貢獻(xiàn)、參與度。我想告訴大家的是，整個(gè)核心團(tuán)隊(duì)并不多，其實(shí)就幾個(gè)人，大部分核心團(tuán)隊(duì)現(xiàn)在都在我們公司，后來(lái)我們從ebay出來(lái)了，看到這樣一個(gè)機(jī)會(huì)，我們成立了一家創(chuàng)業(yè)公司，希望在社區(qū)能夠做更多的事情。

Apache Kylin的技術(shù)

那么，我們用什么樣的技術(shù)來(lái)解決問(wèn)題呢?無(wú)論是并行計(jì)算、還是列式存儲(chǔ)，如今行業(yè)里擁有許多不同的技術(shù)，而Kylin則結(jié)合了這些技術(shù)的優(yōu)點(diǎn)。

首先我們應(yīng)用了并行計(jì)算。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)、BI的工具之類的以前都是很小的，不能夠支撐單個(gè)文件超過(guò)2個(gè)G的，或者還有一些說(shuō)不能超過(guò)多大的數(shù)據(jù)量。我們?cè)趀bay的時(shí)候曾經(jīng)用了另外一個(gè)BI工具，單個(gè)不能超過(guò)20億的數(shù)據(jù)，因?yàn)榘牙锩娴乃惴▽?xiě)死掉了，沒(méi)有辦法改。而今天我們能夠大量地利用并行計(jì)算Hadoop這樣的技術(shù)做并行的處理，所以相應(yīng)的能力、計(jì)算的速度、效率那是指數(shù)級(jí)增長(zhǎng)。

中間是空間換時(shí)間。這是最根本的設(shè)計(jì)理念，當(dāng)你海量數(shù)據(jù)進(jìn)來(lái)的時(shí)候，你的查詢相對(duì)來(lái)說(shuō)是比較固定的，或者相對(duì)來(lái)說(shuō)原始數(shù)據(jù)百分之七八十或者九十不會(huì)再動(dòng)了，我有理由幫你做一些這方面的預(yù)計(jì)算。

列式存儲(chǔ)。另外一塊，即使算完了，如果還是放在磁盤(pán)上面是不夠的，因?yàn)榇疟P(pán)效率很低，放內(nèi)存，內(nèi)存又很貴。而通過(guò)列式存儲(chǔ)的方式，就能大大解決這一問(wèn)題。

技術(shù)核心

我們的技術(shù)核心其實(shí)非常簡(jiǎn)單，叫做用空間換時(shí)間。因?yàn)槟銓?shí)時(shí)算這個(gè)東西的時(shí)候，實(shí)在是太慢了，我們當(dāng)時(shí)碰到的給我們的數(shù)據(jù)級(jí)、測(cè)試數(shù)據(jù)級(jí)都是一百億以上的規(guī)模的，但今天我們能做到的數(shù)據(jù)是千億、萬(wàn)億規(guī)模的。我經(jīng)常舉一個(gè)例子，好比你中午吃飯，如果從買(mǎi)菜開(kāi)始到菜買(mǎi)回來(lái)洗好，電飯煲插上，吃好洗碗，兩小時(shí)肯定不夠。怎么辦呢?前一天晚上把飯做好拿過(guò)來(lái)，今天微波爐一熱，就能大大節(jié)省了午飯時(shí)間，這就是預(yù)計(jì)算能夠帶給你的。

另一方面，我們非常Care查詢階段。非常重要的數(shù)學(xué)，一旦進(jìn)行預(yù)計(jì)算之后，這個(gè)地方的查詢復(fù)雜度是O(1)，給定的條件之下，不管你數(shù)據(jù)級(jí)有多大，查詢都可以保證在一定的范圍內(nèi)達(dá)到秒級(jí)別，數(shù)據(jù)再大也沒(méi)有關(guān)系。

但其他的一些并行計(jì)算也好、列式存儲(chǔ)也好，是一個(gè)分布式實(shí)時(shí)計(jì)算，不可避免帶來(lái)的算法復(fù)雜度是O(N)。我們通過(guò)預(yù)計(jì)算帶給大數(shù)據(jù)分析技術(shù)最核心的價(jià)值，跟你的數(shù)據(jù)量并沒(méi)有關(guān)系，并且滿足你在各個(gè)場(chǎng)景下的訪問(wèn)。

架構(gòu)

簡(jiǎn)單講一下架構(gòu)，整個(gè)Hadoop生態(tài)圈里面，Kylin用了Hadoop組件，也可以做整個(gè)預(yù)計(jì)算。當(dāng)整個(gè)計(jì)算結(jié)束之后，所有的分析應(yīng)用、查詢應(yīng)用、挖掘應(yīng)用會(huì)像數(shù)據(jù)庫(kù)一樣，通過(guò)標(biāo)準(zhǔn)的SQL訪問(wèn)，我們的系統(tǒng)會(huì)非常精準(zhǔn)地知道你給我的查詢結(jié)果在哪里，馬上可以把這個(gè)結(jié)果反饋給你。當(dāng)然我們也在做更深的研發(fā)支撐更多的條件，我們?cè)谏厦嬷蔚氖菢?biāo)準(zhǔn)SQL，所以就像數(shù)據(jù)倉(cāng)庫(kù)一樣的，這也是我們的定位，希望未來(lái)做成一個(gè)數(shù)據(jù)倉(cāng)庫(kù)Hadoop的解決方案。

講一下細(xì)節(jié)，***個(gè)怎樣利用并行計(jì)算，如果給一百億的數(shù)據(jù)靠一臺(tái)電腦去計(jì)算，不知道要算到什么時(shí)候，但如果有一百臺(tái)、一千臺(tái)機(jī)器就很快了，這是并行計(jì)算帶來(lái)的威力。我們的預(yù)計(jì)算的好處是，通過(guò)Hadoop MapReduce來(lái)做并行計(jì)算，這個(gè)計(jì)算，***很快，同時(shí)產(chǎn)生的成本并不高，這是利用并行計(jì)算。

算完之后存哪里?轉(zhuǎn)化成列式存儲(chǔ)，把一個(gè)傳統(tǒng)的模型結(jié)構(gòu)，充分利用HBase列式存儲(chǔ)的組件達(dá)到性能，所以說(shuō)我們的數(shù)據(jù)最終在HBase每個(gè)節(jié)點(diǎn)上面是均勻分布的。***已經(jīng)沒(méi)有SQL的問(wèn)題了，而且已經(jīng)全部轉(zhuǎn)成了Kb value。今天基本上你給我一個(gè)SQL，就可以給到你結(jié)果。

結(jié)果

給大家看我們做到的結(jié)果，我用了四個(gè)字：多、快、好、省。

——“多”，我們支撐的數(shù)據(jù)量非常大，在ebay單個(gè)cube已經(jīng)超過(guò)千億規(guī)模。

—— “快”，是指達(dá)到的查詢性，90%的查詢性是在1.18秒內(nèi)。包括百度的百度地圖、百度導(dǎo)航的數(shù)據(jù)都在上面。這里分享一下，***的來(lái)自廣東移動(dòng)，廣東移動(dòng)數(shù)據(jù)非常大，如今4G、移動(dòng)互聯(lián)網(wǎng)非?；馃?，相應(yīng)的數(shù)據(jù)都在里面，進(jìn)來(lái)的數(shù)據(jù)每天增量超過(guò)一百億條，這個(gè)系統(tǒng)運(yùn)行快一年了，基本上超過(guò)萬(wàn)億規(guī)模，每個(gè)查詢都可以在秒級(jí)返回。另外，美團(tuán)整個(gè)外賣數(shù)據(jù)也都在上面，95%查詢?cè)?秒以內(nèi)。重要的是說(shuō)，我們所使用的硬件成本是很低的，就是普通的機(jī)器。如果用內(nèi)存機(jī)器或者傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)、一體機(jī)等等，這個(gè)成本是呈指數(shù)的。

——“好”，這方面就不多說(shuō)了，國(guó)內(nèi)、國(guó)外有非常多的公司都在使用。

——“省”，大數(shù)據(jù)平臺(tái)上面是一個(gè)開(kāi)源的技術(shù)，最重要的是這還是一個(gè)國(guó)產(chǎn)技術(shù)。我們?cè)谖ㄆ窌?huì)的一些技術(shù)已經(jīng)在遷移，把傳統(tǒng)的國(guó)外的這些數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)遷移到今天我們這樣一個(gè)國(guó)產(chǎn)自主的，在大數(shù)據(jù)的平臺(tái)上的技術(shù)上面，而且成本將會(huì)大大降低，這對(duì)客戶的價(jià)值是非常大的。另外一個(gè)“省”的很重要的原因是，我們把建模過(guò)程封裝的非常好，使用的時(shí)候?qū)τ陂_(kāi)發(fā)人員、應(yīng)用人員要求很低，懂?dāng)?shù)據(jù)庫(kù)、SQL就夠了，不需要寫(xiě)任何JAVA的腳本，不需要寫(xiě)任何的程序。我們希望我們?cè)谶@方面做更多的工作來(lái)降低整個(gè)大數(shù)據(jù)的門(mén)檻，來(lái)快速的為客戶提供價(jià)值。

下面是不完全的全球用戶的簡(jiǎn)介。ebay就不說(shuō)了，微軟，包括來(lái)自德國(guó)的，來(lái)自美國(guó)的都有。最重要的是在中國(guó)有非常多的互聯(lián)網(wǎng)公司，包括京東、網(wǎng)易、美團(tuán)、百度、唯品會(huì)等等，以及像OPPO、魅族、樂(lè)視這些手機(jī)廠商，還有聯(lián)想、國(guó)泰君安、三大運(yùn)營(yíng)商，我們都有很好的案例，而且使用的規(guī)模都是非常大的。

我們說(shuō)每個(gè)成功的開(kāi)源項(xiàng)目后面都有一個(gè)創(chuàng)業(yè)公司，以往這些公司的故事都發(fā)生在美國(guó)，而我們這家公司在中國(guó)，在上海。

解釋一下這個(gè)公司名字的議程，我們的公司叫做Kyligence，來(lái)自Kylin+Intelligence，我們希望把一個(gè)神獸帶到大數(shù)據(jù)生態(tài)圈里面，整個(gè)大數(shù)據(jù)里面都是動(dòng)物，而我們希望我們的神獸變得更加智能一點(diǎn)。

三、對(duì)大數(shù)據(jù)預(yù)測(cè)技術(shù)的支持

有了這樣一個(gè)基礎(chǔ)以及數(shù)據(jù)技術(shù)之后，談一下對(duì)于大數(shù)據(jù)預(yù)測(cè)技術(shù)我們的想法，怎么來(lái)支撐、怎么讓我們用戶做一些應(yīng)用?

首先我們看一下最重要的，我們?cè)谇|規(guī)模上面做到亞秒級(jí)的查詢延遲。不管做預(yù)測(cè)也好，做什么也好，最重要的是要快速的獲取數(shù)據(jù)的能力，特別是預(yù)測(cè)，不斷地迭代，我們能夠支撐到不管你改變?nèi)魏蔚牟樵儣l件，我可以非?？斓陌堰@個(gè)查詢給你。很多時(shí)候做預(yù)測(cè)工作，其實(shí)是在不斷地?fù)Q參數(shù)，但相對(duì)的下面的數(shù)據(jù)模型很多時(shí)候是固定的或者相對(duì)固定，我們能夠有這個(gè)能力，無(wú)論你給我?guī)讉€(gè)參數(shù)，或是換參數(shù)，馬上就給你結(jié)果級(jí)。上層應(yīng)用，基于這個(gè)結(jié)果級(jí)進(jìn)一步的通過(guò)算法做演算、調(diào)整。

另外一個(gè)很重要的是我們支持的是標(biāo)準(zhǔn)SQL，很多時(shí)候現(xiàn)在的技術(shù)是要你自己寫(xiě)程序的，這要求的入門(mén)門(mén)檻太高了，但是通過(guò)標(biāo)準(zhǔn)的SQL，我們?cè)趥鹘y(tǒng)的數(shù)據(jù)庫(kù)里面有非常多的模型與算法是可以使用的。

對(duì)于整個(gè)技術(shù)的支持來(lái)說(shuō)，我們?yōu)樯蠈訑?shù)據(jù)應(yīng)用、挖掘應(yīng)用提供的接口是ODBC、JDBC、REST API。所以跟你用一個(gè)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)其實(shí)沒(méi)有任何區(qū)別。最重要的是，我們能夠在非常大的規(guī)模的數(shù)據(jù)上面直接把這個(gè)給到你，不管你原來(lái)的數(shù)據(jù)是一百億、一千億、一萬(wàn)億，你要拿的東西往往是那么一點(diǎn)點(diǎn)，拿到關(guān)鍵的幾個(gè)數(shù)據(jù)就夠了。

今天來(lái)說(shuō)，對(duì)于未來(lái)我們看到大數(shù)據(jù)預(yù)測(cè)應(yīng)用越來(lái)越多的變成在線應(yīng)用。在線對(duì)這個(gè)底層數(shù)據(jù)倉(cāng)庫(kù)帶來(lái)的***壓力在于并發(fā)，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)在并發(fā)上面都是上不去的，都有很大的問(wèn)題。今天可以做到互聯(lián)網(wǎng)級(jí)別的高并發(fā)應(yīng)用了。我們有能力為這些分析應(yīng)用、預(yù)測(cè)應(yīng)用提供高并發(fā)的快速分析能力。

四、去哪兒案例分享

非常簡(jiǎn)單的介紹一下去哪兒的案例，去哪兒在做機(jī)票訂單、酒店等等，跟攜程非常像。中間是訂單，有代理商、公司、各種各樣的信息。它把數(shù)據(jù)都放到Hadoop之上，中間一層是Kylin，把下面的數(shù)據(jù)做了加工之后，處理好，按照數(shù)據(jù)模型建立起來(lái)。上層應(yīng)用通過(guò)相應(yīng)的數(shù)據(jù)挖掘界面，以及其他的一些SQL的工具就可以訪問(wèn)后臺(tái)了，訪問(wèn)中間一層可以看到不同的維度、不同的指標(biāo)等等，***的查詢速度。它的應(yīng)用基于一個(gè)數(shù)據(jù)模型可以做各種各樣的分析，就能夠預(yù)測(cè)一下賣的好不好或者什么地方有問(wèn)題。

至于我們公司，我們?cè)陂_(kāi)源之上，并且還在持續(xù)的投入做開(kāi)源社區(qū)，非常重要的是我們百分之八九十的工作還在發(fā)展開(kāi)源的技術(shù)，提供一些企業(yè)級(jí)的產(chǎn)品。

后面介紹一下我們整個(gè)的生態(tài)系統(tǒng)，我們要做一家產(chǎn)品和技術(shù)公司，希望在中國(guó)為用戶提供純粹的產(chǎn)品技術(shù)。此外，我們希望跟大數(shù)據(jù)供應(yīng)商、云平臺(tái)的供應(yīng)商，上層供應(yīng)商，以及每個(gè)行業(yè)的解決方案供應(yīng)商一起壯大整個(gè)大數(shù)據(jù)生態(tài)。