企業(yè)選擇錯誤的人工智能存儲平臺可能會產(chǎn)生嚴重影響。因此，人們需要了解可能影響企業(yè)選擇人工智能數(shù)據(jù)存儲策略的6個準則。

[[314851]]

人工智能和機器學(xué)習(xí)如今已成為企業(yè)最重要的兩個工具，可幫助企業(yè)利用其核心數(shù)字資產(chǎn)創(chuàng)造競爭優(yōu)勢。但是在采用人工智能數(shù)據(jù)存儲之前，企業(yè)必須根據(jù)機器學(xué)習(xí)平臺如何獲取、處理和保留數(shù)據(jù)來考慮一系列要求。

首先檢查一下機器學(xué)習(xí)軟件使用的數(shù)據(jù)的生命周期，因為這可以幫助企業(yè)了解為人工智能選擇存儲時應(yīng)考慮的事項。最初，企業(yè)必須獲取數(shù)據(jù)以訓(xùn)練機器學(xué)習(xí)或人工智能算法。這些是處理數(shù)據(jù)以學(xué)習(xí)任務(wù)的軟件工具，例如識別對象、處理視頻和跟蹤運動。數(shù)據(jù)可以從各種來源產(chǎn)生，并且通常在本質(zhì)上是非結(jié)構(gòu)化的，例如對象和文件。

訓(xùn)練過程將獲取數(shù)據(jù)資產(chǎn)，并使用機器學(xué)習(xí)或人工智能軟件來創(chuàng)建用于處理未來數(shù)據(jù)源的算法。在訓(xùn)練或開發(fā)算法時，人工智能軟件將處理源數(shù)據(jù)以開發(fā)模型，該模型可以創(chuàng)建洞察力或滿足業(yè)務(wù)需求。

開發(fā)機器學(xué)習(xí)算法很少是一個單一的過程。隨著企業(yè)積累越來越多的數(shù)據(jù)，其算法也會得到完善和改進。這意味著很少的數(shù)據(jù)會被丟棄，而是隨著時間的推移會增長并重新處理。

采用人工智能數(shù)據(jù)存儲的標準

在為人工智能平臺選擇存儲之前，企業(yè)必須首先考慮以下事項：

(1)費用。人工智能數(shù)據(jù)存儲的價格是企業(yè)考慮購買的關(guān)鍵因素。顯然，企業(yè)管理層和參與采購決策的人員都希望數(shù)據(jù)存儲盡可能具有成本效益，并且在許多情況下，這將影響企業(yè)的產(chǎn)品選擇和策略。

(2)可擴展性。企業(yè)需要收集、存儲和處理大量數(shù)據(jù)以創(chuàng)建機器學(xué)習(xí)或人工智能模型。機器學(xué)習(xí)算法要求源數(shù)據(jù)呈指數(shù)增長，以實現(xiàn)精度的線性提高。創(chuàng)建可靠而準確的機器學(xué)習(xí)模型可能需要數(shù)百TB甚至PB的數(shù)據(jù)，而且這會隨著時間的推移而增加。

構(gòu)建PB級存儲系統(tǒng)通常意味著使用對象存儲或橫向擴展文件系統(tǒng)。現(xiàn)代對象存儲可以解決人工智能工作負載的容量需求，但是它們可能無法滿足其他條件，例如高性能。橫向擴展文件系統(tǒng)可以提供高性能和良好的可擴展性，但是將整個數(shù)據(jù)集存儲在單個平臺上可能會很昂貴。由于可擴展性要求和大容量產(chǎn)品的成本，塊存儲通常不是機器學(xué)習(xí)或人工智能的正確選擇。唯一的例外是在公共云中。

存儲成本的變化引入了分層或使用多種類型的存儲來存儲數(shù)據(jù)的想法。例如，對象存儲庫是存儲大量非活動人工智能數(shù)據(jù)的良好目標。當需要數(shù)據(jù)進行處理時，可以將其移動到高性能文件存儲集群或?qū)ο蟠鎯χ袨楦咝阅芏O(shè)計的節(jié)點中，一旦完成處理，就可以將數(shù)據(jù)移回。

(3)性能。人工智能數(shù)據(jù)的存儲性能包括三個方面。首先，可能也是最重要的是延遲。這定義了軟件發(fā)出的每個I/O請求的處理速度。低延遲很重要，因為改善延遲會直接影響創(chuàng)建機器學(xué)習(xí)或人工智能模型所需的時間。復(fù)雜的模型開發(fā)可能需要數(shù)周或數(shù)月的時間才能運行。通過縮短開發(fā)周期，企業(yè)可以更快地創(chuàng)建和完善模型。在檢查延遲功能時，由于對象訪問的流動性質(zhì)，對象將參考時間存儲到第一個字節(jié)，而不是單個I/O請求的延遲。

性能的另一個方面是吞吐量，以及可以將數(shù)據(jù)寫入存儲平臺或從存儲平臺讀取數(shù)據(jù)的速度。系統(tǒng)吞吐量很重要，因為人工智能培訓(xùn)會處理大量數(shù)據(jù)集，通常會反復(fù)讀取和重新讀取相同的數(shù)據(jù)以準確地開發(fā)模型。機器學(xué)習(xí)和人工智能數(shù)據(jù)的來源(例如自動駕駛車輛上的傳感器)每天可以產(chǎn)生數(shù)TB的新數(shù)據(jù)。所有這些信息都必須添加到現(xiàn)有數(shù)據(jù)存儲中，并且對任何現(xiàn)有處理的影響最小。

正確設(shè)置存儲平臺至關(guān)重要，因為涉及的數(shù)據(jù)量非常大。

性能的最后方面是并行訪問。機器學(xué)習(xí)和人工智能算法并行處理數(shù)據(jù)，運行多個任務(wù)，這些任務(wù)可以多次讀取同一數(shù)據(jù)，并且可以跨越許多并行任務(wù)。對象存儲擅長并行讀取I/O處理，因為沒有對象鎖定或要管理的屬性。文件服務(wù)器跟蹤內(nèi)存中打開的I/O請求或文件句柄。因此，活動I/O請求的數(shù)量取決于平臺上可用的內(nèi)存。

機器學(xué)習(xí)數(shù)據(jù)可以包含大量的小文件。在這方面文件服務(wù)器可以提供比對象存儲更好的性能。向人工智能存儲供應(yīng)商提出的一個關(guān)鍵問題是，其產(chǎn)品的性能特征將如何在大文件和小文件類型之間發(fā)生變化。

由于大多數(shù)大型對象存儲太大而無法定期備份，因此可靠的擦除編碼已成為人工智能存儲平臺的基本功能。

(5)公共云。開發(fā)機器學(xué)習(xí)和人工智能算法需要高性能的存儲和高性能的計算。許多人工智能系統(tǒng)都基于GPU(例如Nvidia DGX)，可以減輕開發(fā)精確算法所涉及的許多復(fù)雜數(shù)學(xué)計算的負擔。

公共云服務(wù)提供商已開始提供可用于機器學(xué)習(xí)的GPU加速虛擬實例。在公共云中運行機器學(xué)習(xí)工具可降低構(gòu)建用于機器學(xué)習(xí)開發(fā)的基礎(chǔ)設(shè)施的投資成本，同時提供擴展開發(fā)機器學(xué)習(xí)模型所需的基礎(chǔ)設(shè)施的能力。

使用公共云計算所面臨的挑戰(zhàn)是如何以經(jīng)濟高效且實用的方式將數(shù)據(jù)導(dǎo)入公共云。基于云計算的對象存儲速度太慢，無法滿足機器學(xué)習(xí)的I/O需求;因此，必須使用本地塊存儲。移動數(shù)據(jù)的延遲和機器學(xué)習(xí)的延遲意味著運行基礎(chǔ)設(shè)施的成本增加。

公共云的另一個問題是數(shù)據(jù)出口的成本。盡管云計算服務(wù)提供商不收取將數(shù)據(jù)移入其平臺的費用，但他們對從其平臺外部的公共網(wǎng)絡(luò)訪問的任何數(shù)據(jù)收取費用。其結(jié)果是，盡管公共云提供了計算的靈活性，但以及時且經(jīng)濟高效的方式將數(shù)據(jù)進出云平臺并不總是那么容易。

云計算供應(yīng)商正在開發(fā)可在公共云中運行其產(chǎn)品的存儲產(chǎn)品，這些存儲跨越內(nèi)部部署基礎(chǔ)設(shè)施和云平臺。這些產(chǎn)品可以有效地復(fù)制數(shù)據(jù)或?qū)?shù)據(jù)移至云平臺中，并且僅在完成后才將結(jié)果移回。這些復(fù)制技術(shù)具有高帶寬效率，使在內(nèi)部部署存儲數(shù)據(jù)并導(dǎo)入到云平臺中進行分析工作變得切實可行。

(6)整合。在機器學(xué)習(xí)和人工智能的存儲方面需要與計算隔離開來。構(gòu)建人工智能數(shù)據(jù)存儲可能很困難，因為存儲網(wǎng)絡(luò)和調(diào)整存儲必須考慮其他因素才能與機器學(xué)習(xí)應(yīng)用程序一起工作。

產(chǎn)品的預(yù)包裝使云計算供應(yīng)商能夠在將產(chǎn)品交付給客戶之前對其產(chǎn)品進行測試和優(yōu)化。如今，有一些存儲產(chǎn)品將流行的人工智能軟件、CPU和GPU等計算、網(wǎng)絡(luò)和存儲設(shè)備結(jié)合在一起，以提供支持人工智能的平臺。在部署這些系統(tǒng)之前，許多詳細的調(diào)整工作已完成。盡管成本可能是一個問題，但對于許多客戶而言，預(yù)包裝的系統(tǒng)可以減少采用人工智能存儲的障礙。

顯然，選擇合適的人工智能數(shù)據(jù)存儲平臺是權(quán)衡指標，例如性能、可擴展性和成本。正確設(shè)置存儲平臺至關(guān)重要，因為涉及的數(shù)據(jù)量非常大。選擇錯誤的產(chǎn)品可能是一個代價高昂的錯誤。與任何存儲產(chǎn)品決策一樣，企業(yè)與云計算供應(yīng)商交談以準確了解其產(chǎn)品如何滿足人工智能和機器學(xué)習(xí)的需求也很重要。其參與過程應(yīng)包括演示和評估，以作為任何可能的購買決定的前奏。