大數(shù)據(jù)時代的Lambdas
今天的基礎(chǔ)架構(gòu)正變得越來越智慧——很快人工智能技術(shù)就會告訴我們?nèi)绾螌?shí)現(xiàn)基礎(chǔ)架構(gòu)的自我生命周期管理。我甚至認(rèn)為這些人工智能(AI)廠商會在一夜間宣稱實(shí)現(xiàn)了基于AI技術(shù)的基礎(chǔ)架構(gòu)。
今天的我們尤其渴望智能化、更進(jìn)一步的自動化和自我優(yōu)化的基礎(chǔ)架構(gòu)——尤其在存儲方面——但我不認(rèn)為存儲基礎(chǔ)架構(gòu)會在未來某個時刻實(shí)現(xiàn)人機(jī)對話功能。當(dāng)然,存儲肯定會以更加實(shí)際的方式變得智能化,并且這些變化正在諸如數(shù)據(jù)中心存儲體系架構(gòu)中逐步發(fā)生著。
我欣喜地看到存儲發(fā)展趨勢中所融入的嵌入式機(jī)器學(xué)習(xí)算法,旨在進(jìn)行關(guān)鍵優(yōu)化、分類、搜索和模式檢測任務(wù)。企業(yè)數(shù)據(jù)資產(chǎn)正在不斷增長,而與之對應(yīng)的大數(shù)據(jù)收集和分析的潛在價值亦是如此。你很難用人工方式挖掘出其中蘊(yùn)含的價值。隨著即將爆發(fā)的萬物互聯(lián)(IoT),數(shù)據(jù)挖掘中將大幅增加高速的數(shù)據(jù)流傳輸、實(shí)時的設(shè)備數(shù)據(jù)生成,并混合業(yè)務(wù)運(yùn)營過程中的交易型數(shù)據(jù)。
要讓我們利用好這些潛在的信息資源,存儲廠商已經(jīng)開始將智能化算法融入到存儲層中。通過在數(shù)據(jù)存儲層中整合分析型的處理流程,我們今天可以輕松處理現(xiàn)有的海量信息,并為企業(yè)的業(yè)務(wù)部門提供近乎實(shí)時的信息反饋。
數(shù)據(jù)中心存儲體系架構(gòu)正呈現(xiàn)出某些趨勢,使得智能化進(jìn)展更為迅猛。
Lambda體系架構(gòu)
一般來說,作為處理日益增多的數(shù)據(jù)流、流水化信息和面向事件的數(shù)據(jù),無服務(wù)器,由事件觸發(fā)的計(jì)算服務(wù)(例如Amazon Web Services Lambda)變得越來越普及和流行。其中的核心理念就如同是結(jié)構(gòu)化數(shù)據(jù)庫中長期支持的存儲過程,或用戶自定義函數(shù)。
你現(xiàn)在可以直接在全新的、通用型的數(shù)據(jù)存儲中放置、執(zhí)行由事件驅(qū)動的功能編程。例如,自定義計(jì)算功能可以在數(shù)據(jù)被持續(xù)訪問時將其放置到較低延遲的存儲層,并把老化的數(shù)據(jù)遷移到較慢的存儲層。
此外,應(yīng)用程序與分析計(jì)算的融合伴隨著大數(shù)據(jù)同步發(fā)展,在此之中存儲得以實(shí)現(xiàn)橫向擴(kuò)展(例如Hadoop分布式文件系統(tǒng)),而計(jì)算亦以節(jié)點(diǎn)方式分配到每一塊數(shù)據(jù)。隨著內(nèi)存數(shù)據(jù)網(wǎng)格使用的增長和全新“通用型”大數(shù)據(jù)數(shù)據(jù)庫(整合結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù))的到來,這些都將有助于促成計(jì)算與存儲的融合。
容器式的存儲操作系統(tǒng)
供應(yīng)商正將新的存儲操作系統(tǒng)體系架構(gòu)開發(fā)為容器中的應(yīng)用,至少在內(nèi)部實(shí)現(xiàn)中使用這種編碼方式。這將是所謂軟件定義世界大趨勢中的一部分,同時也受到另一種理念的驅(qū)使,即計(jì)算資源最終會完全從底層的硬件中剝離,例如異構(gòu)集群和動態(tài)的混合云。
適合的容器式存儲服務(wù)可以輕松集成,供最終用戶使用,或與第三方應(yīng)用結(jié)合實(shí)現(xiàn)存儲主機(jī)內(nèi)的某些功能。用于存儲的容器體系架構(gòu)能夠按需執(zhí)行微服務(wù),從而快速響應(yīng)并動態(tài)擴(kuò)展支持上述Lambda架構(gòu)所需。
大數(shù)據(jù)與高級分析
上個世紀(jì)中,機(jī)器學(xué)習(xí)通常發(fā)生在封閉的環(huán)境中,基于歷史(離線的)數(shù)據(jù)集合,使用縱向擴(kuò)展環(huán)境中的算法。而今天,大數(shù)據(jù)經(jīng)過十年的發(fā)展,我們現(xiàn)在擁有易于使用的機(jī)器學(xué)習(xí)算法庫,并為分布式(即并行)的橫向擴(kuò)展應(yīng)用做好準(zhǔn)備,支持日益擴(kuò)大的存儲卷和數(shù)據(jù)類型。
數(shù)據(jù)流解決方案
伴隨著物聯(lián)網(wǎng)的出現(xiàn),我們看到數(shù)據(jù)中心存儲體系架構(gòu)中所出現(xiàn)的全新的海量數(shù)據(jù),其需要以數(shù)據(jù)流的方式,不間斷地進(jìn)行處理。由于需要實(shí)時、并行而高級的內(nèi)容信息分析來進(jìn)行處理,而非單純的傳統(tǒng)交易型業(yè)務(wù)操作,這大大推動了上述發(fā)展。
技術(shù)的突飛猛進(jìn)
盡管計(jì)算和存儲不再像過去那樣依賴于硬件,但數(shù)據(jù)中心存儲架構(gòu)的持續(xù)發(fā)展將有助于實(shí)現(xiàn)超級智能存儲。每個月我們都會聽到有關(guān)內(nèi)存密度增加、閃存部署和轉(zhuǎn)型,以及新的基于非易失性存儲架構(gòu)的新聞,更強(qiáng)大的處理器、更高的GPU利用率,甚至出現(xiàn)服務(wù)大數(shù)據(jù)應(yīng)用的定制化可編程陣列(FPGA)。當(dāng)然,我們亦不應(yīng)忘記近期出現(xiàn)的持續(xù)內(nèi)存(Persistent Memory)。
綜合考慮這些發(fā)展,我們很容易看到存儲市場是如何得到快速增長,并實(shí)現(xiàn)高度智能化的。當(dāng)然,隨著越來越多的功能的整合,有人開始認(rèn)為它已不再僅僅是存儲,這暫且另當(dāng)別論。現(xiàn)在,存儲再次成為數(shù)據(jù)中心內(nèi)最有趣的領(lǐng)域。當(dāng)然,新的智能化將增強(qiáng)傳統(tǒng)的數(shù)據(jù)管理任務(wù),實(shí)現(xiàn)信息的全生命周期管理,也可以在另一些方面增強(qiáng)企業(yè)存儲數(shù)據(jù)的能力,例如:
- 社交推薦
- 本地存儲檢索
- 高級信息安全
- 數(shù)據(jù)轉(zhuǎn)換(如轉(zhuǎn)碼、翻譯)
- 數(shù)據(jù)獲取時分類排序
- 自動化商業(yè)智能分析
機(jī)器學(xué)習(xí)已經(jīng)可以在數(shù)據(jù)中心的各個層級中實(shí)現(xiàn):應(yīng)用程序、增強(qiáng)管理,甚至嵌入在設(shè)備中。IT基礎(chǔ)架構(gòu)變得日益智能,其智能化規(guī)模和發(fā)展速度我們才剛得以一窺。與此同時,我們大部分?jǐn)?shù)據(jù)所在的存儲中蘊(yùn)藏著機(jī)器學(xué)習(xí)所需要的一切。雖然存儲不會隨著時間超越人類的思維認(rèn)知,但它確實(shí)會以更聰明的方式行事?,F(xiàn)在,已經(jīng)開始尋求智能化IT基礎(chǔ)架構(gòu)方案的IT人士將會面對更好的未來。