存儲(chǔ)成為人工智能部署的無名英雄
許多企業(yè)在推出人工智能項(xiàng)目時(shí)關(guān)注的是計(jì)算能力和網(wǎng)絡(luò)。但他們可能忽略了他們對(duì)海量存儲(chǔ)需求的更大圖景。
隨著企業(yè)開始部署和使用人工智能,許多人意識(shí)到他們需要獲得巨大的計(jì)算能力和快速的網(wǎng)絡(luò)功能,但存儲(chǔ)需求可能被忽視了。
一些人工智能和存儲(chǔ)專家表示,啟動(dòng)聊天機(jī)器人或采用人工智能助手不太可能對(duì)大多數(shù)企業(yè)的存儲(chǔ)容量造成負(fù)擔(dān),但可以訪問數(shù)百萬個(gè)數(shù)據(jù)點(diǎn)的大型人工智能項(xiàng)目可能需要數(shù)tb的新存儲(chǔ)空間,可能會(huì)花費(fèi)數(shù)千萬美元。
Duos Technologies公司首席技術(shù)官Jeffrey Necciai表示,目前有幾種存儲(chǔ)選擇,對(duì)于某些人工智能功能來說,云存儲(chǔ)或傳統(tǒng)硬盤可能就足夠了。該公司利用人工智能與成像技術(shù)來檢查行駛中的火車。
但Necciai和其他專家表示,對(duì)于需要提供即時(shí)響應(yīng)或信息的人工智能系統(tǒng),距離人工智能工作負(fù)載位置數(shù)百英里的硬盤和云存儲(chǔ)可能太慢了。
Necciai說,例如,Duos Technologies公司在掃描鐵路車輛后60秒內(nèi)提供通知。在這種情況下,該公司需要與人工智能計(jì)算單元一起工作的超高速存儲(chǔ)。
不僅僅是硬盤的大小
Necciai說,考慮大型人工智能項(xiàng)目的企業(yè)需要考慮他們需要的存儲(chǔ)量以及他們的存儲(chǔ)同時(shí)處理多個(gè)任務(wù)的能力。
他補(bǔ)充說:“我們需要為多個(gè)線程同時(shí)快速地寫入存儲(chǔ),我們需要為多個(gè)線程快速地從故事存儲(chǔ)中讀取?!薄皩?duì)我們來說非常重要的是,能夠同時(shí)對(duì)存儲(chǔ)進(jìn)行操作?!?/p>
去年,Duos Technologies公司掃描了850萬輛火車車廂,每次掃描可能產(chǎn)生1050多張圖像。Duos軌道車檢查門戶使用四個(gè)高性能存儲(chǔ)陣列,每個(gè)存儲(chǔ)陣列包含16個(gè)NVMe驅(qū)動(dòng)器,總?cè)萘考s為500TB。
該公司還使用了大約25TB的傳統(tǒng)存儲(chǔ)空間,用于內(nèi)部培訓(xùn)和開發(fā)人工智能,減少了對(duì)即時(shí)結(jié)果的需求。Necciai說:“我們希望利用所有這些資源來做我們需要做的事情。歸根結(jié)底,就是用正確的工具做正確的工作?!?/p>
海量數(shù)據(jù)需求
與Duos Technologies公司一樣,其他一些運(yùn)行大型人工智能項(xiàng)目的企業(yè)正在轉(zhuǎn)向大容量SSD或NAND閃存來滿足其存儲(chǔ)需求。
高速內(nèi)存比硬盤貴得多,每千兆字節(jié)的成本高達(dá)1,000美元,但它們還有其他優(yōu)勢(shì)。企業(yè)固態(tài)硬盤制造商Solidigm公司的領(lǐng)導(dǎo)力營銷高級(jí)總監(jiān)Roger Corell舉例說,固態(tài)硬盤的能效幾乎是服務(wù)器和硬盤機(jī)架的三倍,占用的空間也更小。
他說,隨著企業(yè)采用更復(fù)雜、多模式的人工智能項(xiàng)目,以及越來越多的員工開始使用人工智能工具,對(duì)高容量、多線程存儲(chǔ)選項(xiàng)的需求只會(huì)增加。
科雷爾補(bǔ)充道:“人工智能在需要存儲(chǔ)的數(shù)據(jù)量以及需要以多快的速度訪問這些海量數(shù)據(jù)集方面是如此強(qiáng)大。
此外,人工智能和機(jī)器學(xué)習(xí)項(xiàng)目的對(duì)象存儲(chǔ)公司MinIO公司首席技術(shù)官Ugur Tigli表示,除了SSD或NAND選項(xiàng)外,一些公司正在使用私有云或托管設(shè)施來滿足他們的存儲(chǔ)需求。
他說,采用人工智能的MinIO客戶通常會(huì)將存儲(chǔ)容量增加4到10倍,他鼓勵(lì)大規(guī)模人工智能用戶在公共云之外尋找存儲(chǔ)需求,因?yàn)槭褂盟接性苹蛲泄芊?wù)的成本可能比公共云低60%。
他說:“在數(shù)百P字節(jié)或1E字節(jié)或2E字節(jié)的規(guī)模上,在公共云中行不通。根據(jù)容量、分層和數(shù)據(jù)訪問配置,每年的總成本將在數(shù)千萬到數(shù)億美元之間?!?/p>
Tigli補(bǔ)充說,與公共云不同,企業(yè)用戶可以私下構(gòu)建并“突發(fā)”到云上,以獲得額外的GPU使用。他說:“這里的關(guān)鍵是,計(jì)算是彈性的,但數(shù)據(jù)有引力,并且以可預(yù)測的(盡管是加速的)速度增長,因此需要相應(yīng)地構(gòu)建計(jì)算。”
存儲(chǔ)作為平臺(tái)
數(shù)字轉(zhuǎn)型服務(wù)商AHEAD公司的領(lǐng)域首席技術(shù)官Priyanka Karan補(bǔ)充說,另一個(gè)選擇涉及PB規(guī)模存儲(chǔ)平臺(tái)。她表示,“PB規(guī)模存儲(chǔ)平臺(tái)旨在減少數(shù)據(jù)移動(dòng)的挑戰(zhàn),即將數(shù)據(jù)從最初降落的地方帶到可以用于人工智能訓(xùn)練的地方。我們的目標(biāo)不是建立一個(gè)新的倉庫?!?/p>
她說,一些可用的存儲(chǔ)平臺(tái)建立在NAND閃存上,這提供了高吞吐量和低延遲,對(duì)于將數(shù)據(jù)饋送到GPU和TPU至關(guān)重要。
一些人工智能用戶和專家表示,現(xiàn)在有幾種選擇,所需的存儲(chǔ)數(shù)量和類型取決于組織正在部署的人工智能項(xiàng)目。
Karan表示,脫機(jī)批處理比實(shí)時(shí)工作負(fù)載的內(nèi)存需求更低。她補(bǔ)充說,在某些情況下,二級(jí)存儲(chǔ)選項(xiàng)可用于保存訓(xùn)練和運(yùn)行人工智能模型所需的大量數(shù)據(jù)。
選擇正確的存儲(chǔ)選項(xiàng)還取決于經(jīng)常提到的數(shù)據(jù)重力(也就是數(shù)據(jù)集的大?。?,是否可以將其移動(dòng)到云中進(jìn)行處理,或者對(duì)數(shù)據(jù)進(jìn)行處理是否有意義。在一些人工智能項(xiàng)目中,數(shù)據(jù)存儲(chǔ)與人工智能計(jì)算一起位于數(shù)據(jù)中心、另一個(gè)公共云或數(shù)據(jù)創(chuàng)建的邊緣。
企業(yè)還有許多其他因素需要考慮,包括安全性、法規(guī)或遵從性挑戰(zhàn)。對(duì)于云存儲(chǔ),Karan說?!熬W(wǎng)絡(luò)、距離和延遲都是考慮因素,但他們必須考慮額外的成本變量?!?/p>
此外,除了存儲(chǔ)本身的成本之外,可能還有數(shù)據(jù)傳輸費(fèi)用、訪問費(fèi)用和非本地存儲(chǔ)的管理費(fèi)。另一方面,本地存儲(chǔ)選項(xiàng)可能涉及巨大的前期投資,以及維護(hù)、電力和冷卻以及員工工資。
Karan說:“組織必須評(píng)估他們的特定需求,包括性能、成本和可擴(kuò)展性,為他們的人工智能計(jì)劃選擇最佳解決方案?!?/p>