總部位于舊金山的初創(chuàng)公司 HStreaming，近期接受了它的第一筆創(chuàng)業(yè)投資——來(lái)自阿特拉斯風(fēng)險(xiǎn)投資公司的100萬(wàn)美元，這筆資金將用于打造一個(gè)實(shí)時(shí)的Hadoop系統(tǒng)。這家僅僅有三個(gè)人的公司卻已經(jīng)運(yùn)營(yíng)了兩年左右。

如果問(wèn)及任何Hadoop的有關(guān)人士， Hadoop如何超越目前的批量處理平臺(tái)，那么“實(shí)時(shí)”無(wú)疑是其中最主要的一個(gè)答案。事實(shí)上，這也是下個(gè)月“ Structure: Data”的一個(gè)討論主題，企業(yè)希望Hadoop成為一個(gè) 可操作的數(shù)據(jù)庫(kù)以及具有 各種類型的OLAP引擎。

目前，HStreaming公司嘗試為他們的Hadoop環(huán)境添加一個(gè)實(shí)時(shí)的組件，當(dāng)數(shù)據(jù)提交到系統(tǒng)，在存儲(chǔ)到磁盤(pán)之前就會(huì)進(jìn)行數(shù)據(jù)的處理，就像開(kāi)源的技術(shù) Storm和 Kafka。當(dāng)然這不是一項(xiàng)簡(jiǎn)單的工作，Uhlig認(rèn)為現(xiàn)在的開(kāi)源版本只是處在初級(jí)階段(就像Storm，能夠完美的對(duì)觸及到的數(shù)據(jù)塊進(jìn)行分類)，但是在分析能力上還有不足。

另一個(gè)方面，HStreaming，已經(jīng)建立了一個(gè)完整的系統(tǒng)，該系統(tǒng)能夠利用實(shí)時(shí)的引擎來(lái)處理視頻、服務(wù)器、傳感器以及其他機(jī)器上生成的數(shù)據(jù)流。而且它也完全兼容Hadoop作為一個(gè)歸檔和批量處理系統(tǒng)。Uhlig也表示，它同時(shí)添加了很多現(xiàn)有的BI工具用于數(shù)據(jù)的分析。

更奇妙的是，對(duì)于Hadoop的用戶來(lái)說(shuō)，不需要進(jìn)行任何的改變。HStreaming能夠通過(guò)利用相同的MapReduce算法和用戶已經(jīng)編寫(xiě)好的Pig 腳本進(jìn)行流處理。在實(shí)際的操作過(guò)程中，Uhlig表示，用戶幾天之內(nèi)就可以從一個(gè)僅僅只能進(jìn)行批處理的系統(tǒng)轉(zhuǎn)移到該實(shí)時(shí)系統(tǒng)。

她表示，截至目前為止，公司目前的收益主要來(lái)源于政府(尤其是視頻分析，HStreaming可以實(shí)時(shí)處理數(shù)以千計(jì)的攝像頭圖像)，電信運(yùn)營(yíng)商以及廣告。公司計(jì)劃未來(lái)把目標(biāo)放在公共基礎(chǔ)設(shè)備和金融服務(wù)領(lǐng)域。

HStreaming看起來(lái)絕對(duì)具備這些技術(shù)實(shí)力。Uhlig是公司的CEO，而公司的CTO是Volkmar Uhlig(她老公)，首席軟件架構(gòu)師是Jan Stoess，他們兩人都擁有計(jì)算機(jī)科學(xué)博士學(xué)位。Volkmar還是L4微內(nèi)核的首席架構(gòu)師，他已經(jīng)建立了一個(gè)高頻的交易系統(tǒng)，曾經(jīng)在IBM的TJ Watson研究中心工作了五年，期間正是研究流處理技術(shù)。