5G和物聯(lián)網(wǎng)帶來大數(shù)據(jù)繁榮
幾年前,當(dāng)人們開始對Hadoop產(chǎn)生興趣時,WANDisco利用其大數(shù)據(jù)移動技術(shù)為預(yù)期的業(yè)務(wù)激增做好了準(zhǔn)備。然而,這項業(yè)務(wù)從未完全展開。當(dāng)Hadoop泡沫最終破滅時,公司只能尋找新的市場?,F(xiàn)在,通過5G網(wǎng)絡(luò)收集的工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)正成為主流,WANDisco成為了云上大數(shù)據(jù)熱潮中的一員。
Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。
像業(yè)內(nèi)許多人一樣,WANdisco首席執(zhí)行官David Richards也受到Hadoop時代的挫折。幸運(yùn)的是他成功地帶領(lǐng)公司度過了Hadoop風(fēng)暴,進(jìn)入了更宜人的“水域”。
因禍得福,Richards談到Hadoop的整個體驗時說道:“我們制造了一種解決大規(guī)模數(shù)據(jù)問題的產(chǎn)品,當(dāng)時看起來像一群白癡,因為沒有人擁有如此大規(guī)模的數(shù)據(jù)。”
隨著向Hadoop的遷移逐漸減少,WANDisco的核心技術(shù)需要一個新的市場,這可以幫助用戶及時地在網(wǎng)絡(luò)上移動大量數(shù)據(jù)。該公司的優(yōu)勢在于,它能夠讓分析師或數(shù)據(jù)科學(xué)家在數(shù)據(jù)到達(dá)目的地的那一刻就開始處理數(shù)據(jù),而不是等待數(shù)天、數(shù)周或數(shù)月才能移動整個數(shù)據(jù)集。
因為使用共識來確保數(shù)據(jù)準(zhǔn)確,不必掃描數(shù)據(jù),因此可以在打開產(chǎn)品的一秒內(nèi)開始運(yùn)行機(jī)器學(xué)習(xí)。也能夠在任何可用帶寬上對其進(jìn)行多路復(fù)用,并使整個事情效率倍增。
盡管Hadoop失敗了,但云數(shù)據(jù)平臺已經(jīng)崛起,流入云中的對象存儲數(shù)據(jù)確實(shí)非常龐大。WANdisco最近被用于將大型電信公司的25 PB(1PB=1024TB)數(shù)據(jù)移動到云中,在那里可以使用流行的云數(shù)據(jù)倉庫之一進(jìn)行分析。它還參與了另一項交易,為一家大型汽車公司每年將1 EB(1EB=1024PB)的數(shù)據(jù)移動到云端。
WANdisco在一夜之間取得了10年的成功。技術(shù)理論從未改變,即在互聯(lián)網(wǎng)上移動PB級數(shù)據(jù)非常困難,確保數(shù)據(jù)以正確的順序及時到達(dá)也是一個問題。
5G技術(shù)最初主要作為一種消費(fèi)技術(shù)進(jìn)行推廣。新的無線技術(shù)使我們能夠在幾秒鐘內(nèi)下載完整的影片,并將開啟互動游戲的新時代。5G將成為新的網(wǎng)絡(luò),使我們能夠參與增強(qiáng)現(xiàn)實(shí)并享受元宇宙。
事實(shí)證明,這并不是5G的全部用途。Richards說:“用例不僅僅是視頻或手機(jī)。更多行業(yè)正致力于成為具有傳感器邊緣云完整解決方案的物聯(lián)網(wǎng)骨干公司。
從汽車收集的數(shù)據(jù)特別大,而且需要及時。制造商正在收集電動汽車部件的可靠性和性能數(shù)據(jù),而保險公司則對駕駛數(shù)據(jù)感興趣,以幫助定價保費(fèi)。
WANdisco是一家在英國上市而總部位于美國的公司。2022年,收入飆升了967%,從約1200萬美元增至1.27億美元。該公司公布的遞延收入約為1.1億美元,高于去年的不足1000萬美元。
Richards稱這些數(shù)字“荒謬”,他對WANDisco突然產(chǎn)生的業(yè)務(wù)量感到震驚?!肮粳F(xiàn)在發(fā)生的事情太瘋狂了。我從未見過這樣的事情。這就是我們所說的會發(fā)生的事情。但當(dāng)它真的發(fā)生時,你必須有能力來支持它。”
Richards樂觀地認(rèn)為,大數(shù)據(jù)龍頭只會打開得更大。隨著公司意識到其數(shù)據(jù)的價值遠(yuǎn)遠(yuǎn)大于其傳統(tǒng)業(yè)務(wù)的價值,這將催生對更大數(shù)據(jù)移動的需求,以推動更大的機(jī)器學(xué)習(xí)工作量。
同時WANdisco發(fā)布了Data Activation Platform 2.0,該公司聲稱這將導(dǎo)致更大數(shù)據(jù)集更快地移動到云端。新版本為同時使用多個數(shù)據(jù)傳輸代理提供了更好的支持;數(shù)據(jù)源環(huán)境的自動清理;加強(qiáng)數(shù)據(jù)保真度驗證;加強(qiáng)對數(shù)據(jù)傳輸優(yōu)先級的控制;以及用戶界面的增強(qiáng)。