新一代大數(shù)據(jù)與人工智能基礎(chǔ)架構(gòu)技術(shù)的發(fā)展與趨勢
2018年是開源軟件歷史上最精彩的一年,2個IPO加上5個并購,開源技術(shù)到達新的高度?;厮葸^去大數(shù)據(jù)時代的15年,開源技術(shù)的創(chuàng)新潮流,包括集群技術(shù),流計算,數(shù)據(jù)庫,容器技術(shù)和機器學(xué)習,可謂一波接著一波。
2003-2004年Google發(fā)布的GFS和MapReduce論文,對業(yè)界的影響可謂意義深遠,它全面揭開了大數(shù)據(jù)的時代序幕。2006年,Doug Cutting加入Yahoo并發(fā)布Hadoop 0.1版本,同年Google發(fā)布BigTable論文。2008年,MySQL 10億美元被Sun收購。2009年,Spark從Berkeley大學(xué)的AMPLab實驗室誕生,程序員Johan Oskarsson舉辦***個NoSQL數(shù)據(jù)庫活動。2010年,RackSpace與NASA聯(lián)合發(fā)起OpenStack云計算項目。2011年,451 Research分析師Matthew Aslett***提出NewSQL概念。2012年,Red Hat***達到10億美元的年收入。2013年,Docker的崛起意味容器時代的開始。2014年, 隨著Hadoop三駕馬車之一的Hortonworks IPO,Hadoop到達高峰時期,但在同年Hadoop保持的記錄被Spark打破。2015年,Google開源Tensorflow,Kubernetes 1.0發(fā)布并捐給CNCF組織。2017年, Hadoop 3.0正式發(fā)布。2018年,Cloudera和Hortonworks兩大巨頭合并,Elastic IPO,市值49億美元。
這一幕幕精彩的故事背后隱藏著技術(shù)一次又一次的改革和創(chuàng)新,到底是上層業(yè)務(wù)應(yīng)用的發(fā)展驅(qū)動底層基礎(chǔ)架構(gòu)技術(shù)的發(fā)展,還是基礎(chǔ)架構(gòu)的創(chuàng)新顛覆業(yè)務(wù)應(yīng)用模式?下面我們一起回顧和預(yù)測這些關(guān)鍵技術(shù)的演變發(fā)展和未來趨勢。