許多企業(yè)在推出人工智能項(xiàng)目時(shí)關(guān)注的是計(jì)算能力和網(wǎng)絡(luò)。但他們可能忽略了他們對(duì)海量存儲(chǔ)需求的更大圖景。

隨著企業(yè)開始部署和使用人工智能，許多人意識(shí)到他們需要獲得巨大的計(jì)算能力和快速的網(wǎng)絡(luò)功能，但存儲(chǔ)需求可能被忽視了。

一些人工智能和存儲(chǔ)專家表示，啟動(dòng)聊天機(jī)器人或采用人工智能助手不太可能對(duì)大多數(shù)企業(yè)的存儲(chǔ)容量造成負(fù)擔(dān)，但可以訪問數(shù)百萬個(gè)數(shù)據(jù)點(diǎn)的大型人工智能項(xiàng)目可能需要數(shù)tb的新存儲(chǔ)空間，可能會(huì)花費(fèi)數(shù)千萬美元。

Duos Technologies公司首席技術(shù)官Jeffrey Necciai表示，目前有幾種存儲(chǔ)選擇，對(duì)于某些人工智能功能來說，云存儲(chǔ)或傳統(tǒng)硬盤可能就足夠了。該公司利用人工智能與成像技術(shù)來檢查行駛中的火車。

但Necciai和其他專家表示，對(duì)于需要提供即時(shí)響應(yīng)或信息的人工智能系統(tǒng)，距離人工智能工作負(fù)載位置數(shù)百英里的硬盤和云存儲(chǔ)可能太慢了。

Necciai說，例如，Duos Technologies公司在掃描鐵路車輛后60秒內(nèi)提供通知。在這種情況下，該公司需要與人工智能計(jì)算單元一起工作的超高速存儲(chǔ)。

不僅僅是硬盤的大小

Necciai說，考慮大型人工智能項(xiàng)目的企業(yè)需要考慮他們需要的存儲(chǔ)量以及他們的存儲(chǔ)同時(shí)處理多個(gè)任務(wù)的能力。

他補(bǔ)充說:“我們需要為多個(gè)線程同時(shí)快速地寫入存儲(chǔ)，我們需要為多個(gè)線程快速地從故事存儲(chǔ)中讀取?！薄皩?duì)我們來說非常重要的是，能夠同時(shí)對(duì)存儲(chǔ)進(jìn)行操作?！?/p>

去年，Duos Technologies公司掃描了850萬輛火車車廂，每次掃描可能產(chǎn)生1050多張圖像。Duos軌道車檢查門戶使用四個(gè)高性能存儲(chǔ)陣列，每個(gè)存儲(chǔ)陣列包含16個(gè)NVMe驅(qū)動(dòng)器，總?cè)萘考s為500TB。

該公司還使用了大約25TB的傳統(tǒng)存儲(chǔ)空間，用于內(nèi)部培訓(xùn)和開發(fā)人工智能，減少了對(duì)即時(shí)結(jié)果的需求。Necciai說:“我們希望利用所有這些資源來做我們需要做的事情。歸根結(jié)底，就是用正確的工具做正確的工作?！?/p>

海量數(shù)據(jù)需求

與Duos Technologies公司一樣，其他一些運(yùn)行大型人工智能項(xiàng)目的企業(yè)正在轉(zhuǎn)向大容量SSD或NAND閃存來滿足其存儲(chǔ)需求。

高速內(nèi)存比硬盤貴得多，每千兆字節(jié)的成本高達(dá)1,000美元，但它們還有其他優(yōu)勢(shì)。企業(yè)固態(tài)硬盤制造商Solidigm公司的領(lǐng)導(dǎo)力營銷高級(jí)總監(jiān)Roger Corell舉例說，固態(tài)硬盤的能效幾乎是服務(wù)器和硬盤機(jī)架的三倍，占用的空間也更小。

他說，隨著企業(yè)采用更復(fù)雜、多模式的人工智能項(xiàng)目，以及越來越多的員工開始使用人工智能工具，對(duì)高容量、多線程存儲(chǔ)選項(xiàng)的需求只會(huì)增加。

科雷爾補(bǔ)充道:“人工智能在需要存儲(chǔ)的數(shù)據(jù)量以及需要以多快的速度訪問這些海量數(shù)據(jù)集方面是如此強(qiáng)大。

此外，人工智能和機(jī)器學(xué)習(xí)項(xiàng)目的對(duì)象存儲(chǔ)公司MinIO公司首席技術(shù)官Ugur Tigli表示，除了SSD或NAND選項(xiàng)外，一些公司正在使用私有云或托管設(shè)施來滿足他們的存儲(chǔ)需求。

他說，采用人工智能的MinIO客戶通常會(huì)將存儲(chǔ)容量增加4到10倍，他鼓勵(lì)大規(guī)模人工智能用戶在公共云之外尋找存儲(chǔ)需求，因?yàn)槭褂盟接性苹蛲泄芊?wù)的成本可能比公共云低60%。

他說:“在數(shù)百P字節(jié)或1E字節(jié)或2E字節(jié)的規(guī)模上，在公共云中行不通。根據(jù)容量、分層和數(shù)據(jù)訪問配置，每年的總成本將在數(shù)千萬到數(shù)億美元之間?！?/p>

Tigli補(bǔ)充說，與公共云不同，企業(yè)用戶可以私下構(gòu)建并“突發(fā)”到云上，以獲得額外的GPU使用。他說:“這里的關(guān)鍵是，計(jì)算是彈性的，但數(shù)據(jù)有引力，并且以可預(yù)測的(盡管是加速的)速度增長，因此需要相應(yīng)地構(gòu)建計(jì)算。”

存儲(chǔ)作為平臺(tái)

數(shù)字轉(zhuǎn)型服務(wù)商AHEAD公司的領(lǐng)域首席技術(shù)官Priyanka Karan補(bǔ)充說，另一個(gè)選擇涉及PB規(guī)模存儲(chǔ)平臺(tái)。她表示，“PB規(guī)模存儲(chǔ)平臺(tái)旨在減少數(shù)據(jù)移動(dòng)的挑戰(zhàn)，即將數(shù)據(jù)從最初降落的地方帶到可以用于人工智能訓(xùn)練的地方。我們的目標(biāo)不是建立一個(gè)新的倉庫?！?/p>

她說，一些可用的存儲(chǔ)平臺(tái)建立在NAND閃存上，這提供了高吞吐量和低延遲，對(duì)于將數(shù)據(jù)饋送到GPU和TPU至關(guān)重要。

一些人工智能用戶和專家表示，現(xiàn)在有幾種選擇，所需的存儲(chǔ)數(shù)量和類型取決于組織正在部署的人工智能項(xiàng)目。

Karan表示，脫機(jī)批處理比實(shí)時(shí)工作負(fù)載的內(nèi)存需求更低。她補(bǔ)充說，在某些情況下，二級(jí)存儲(chǔ)選項(xiàng)可用于保存訓(xùn)練和運(yùn)行人工智能模型所需的大量數(shù)據(jù)。

選擇正確的存儲(chǔ)選項(xiàng)還取決于經(jīng)常提到的數(shù)據(jù)重力（也就是數(shù)據(jù)集的大?。?，是否可以將其移動(dòng)到云中進(jìn)行處理，或者對(duì)數(shù)據(jù)進(jìn)行處理是否有意義。在一些人工智能項(xiàng)目中，數(shù)據(jù)存儲(chǔ)與人工智能計(jì)算一起位于數(shù)據(jù)中心、另一個(gè)公共云或數(shù)據(jù)創(chuàng)建的邊緣。

企業(yè)還有許多其他因素需要考慮，包括安全性、法規(guī)或遵從性挑戰(zhàn)。對(duì)于云存儲(chǔ)，Karan說?！熬W(wǎng)絡(luò)、距離和延遲都是考慮因素，但他們必須考慮額外的成本變量?！?/p>

此外，除了存儲(chǔ)本身的成本之外，可能還有數(shù)據(jù)傳輸費(fèi)用、訪問費(fèi)用和非本地存儲(chǔ)的管理費(fèi)。另一方面，本地存儲(chǔ)選項(xiàng)可能涉及巨大的前期投資，以及維護(hù)、電力和冷卻以及員工工資。

Karan說:“組織必須評(píng)估他們的特定需求，包括性能、成本和可擴(kuò)展性，為他們的人工智能計(jì)劃選擇最佳解決方案?！?/p>