大數(shù)據(jù)的下一個五年:Hadoop將推動數(shù)據(jù)平民化
美國聯(lián)合市場研究(Allied Market Research)機構(gòu)近日預(yù)測,到2020年,Hadoop的市場價值會超過500億。Hadoop技術(shù)發(fā)展至今,走過了近九個年頭,乘著大數(shù)據(jù)的東風(fēng),它以低廉的存儲和快速的處理能力迅速在中小企業(yè)蔓延開來。而據(jù)聯(lián)合市場研究預(yù)測,五年后,Hadoop會得到更廣泛的部署,不止局限在中小企業(yè)。
幾年前,還有評論人士稱,Hadoop只能應(yīng)用于企業(yè)10%的數(shù)據(jù)。但今日一份名為《2014年數(shù)據(jù)庫技術(shù)現(xiàn)狀調(diào)查》的數(shù)據(jù)顯示,13%的受訪者已經(jīng)將Hadoop應(yīng)用于產(chǎn)品生產(chǎn)和測試。未來,Hadoop有望在企業(yè)各個角落得到應(yīng)用。而在性能和用途都有顯著增長的同時,Hadoop的部署成本仍然會保持相對低廉。
數(shù)據(jù)平民化
隨著大數(shù)據(jù)的快速發(fā)展,未來五年內(nèi),數(shù)據(jù)量和數(shù)據(jù)類型都會快速增長,那時,PB級的數(shù)據(jù)量已經(jīng)不能被稱為大數(shù)據(jù)了。隨著數(shù)據(jù)的猛增,企業(yè)對數(shù)據(jù)分析和存儲能力的需求必然大幅上升。相對于傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫技術(shù),Hadoop的優(yōu)勢在于將數(shù)據(jù)分析和存儲平民化。不懂技術(shù)的業(yè)務(wù)人員訪問和分析數(shù)據(jù)將成為趨勢。
照目前的創(chuàng)新速度和較低的準入門檻來看,未來五年會有更多的中小型企業(yè)持有自己的Hadoop架構(gòu)。同時,Hadoop的發(fā)展會催生一大批初創(chuàng)企業(yè)加入到企業(yè)級IT領(lǐng)域,雖然短時間內(nèi)新技術(shù)初創(chuàng)企業(yè)還不足以影響大的市場格局,但從收購和價值評估中我們可以看到,新興技術(shù)企業(yè)的市場價值已經(jīng)越來越大。
安全性和實時性
物聯(lián)網(wǎng)作為IT發(fā)展的下一個技術(shù)熱點,會成為變革IT的新力量。傳統(tǒng)的數(shù)據(jù)庫技術(shù)很難應(yīng)對大量的傳感器數(shù)據(jù),而Hadoop將脫穎而出,承擔(dān)更多的存儲和分析功能。
未來五年里,Hadoop會逐漸向企業(yè)日常運營必不可少的系統(tǒng)發(fā)展。而要實現(xiàn)這一點,其實時分析的能力和安全性將成為掣肘?,F(xiàn)在,我們已經(jīng)看到Kerberos 和一些MapReduce組件用于保障Hadoop的安全性,Spark和Storm等工具正在為Hadoop加速。未來Hadoop的發(fā)展也需要這兩方面能力的成熟。