新的機(jī)會(huì)空間:ChatGPT、大語言模型與存儲(chǔ)
如今,IT分析領(lǐng)域只有一個(gè)核心議題——大語言模型(LLM)機(jī)器學(xué)習(xí)和生成式AI(GAI)。去年11月底發(fā)布的ChatGPT聊天機(jī)器人在全球范圍內(nèi)引發(fā)巨大關(guān)注,一周內(nèi)用戶量突破100萬;谷歌Bard和亞馬遜Titan等類似的基礎(chǔ)模型也同樣掀起熱潮。
此類生成式AI能夠理解文本提示并輸出有效答案,在被引入商業(yè)和公共部門的IT領(lǐng)域之后,這項(xiàng)技術(shù)有望從根本上提高搜索和分析質(zhì)量。AI的普遍應(yīng)用有望在未來十年內(nèi)取代并/或提高各類知識(shí)工作者的生產(chǎn)力,包括客服中心、內(nèi)部銷售人員、會(huì)計(jì)師、律師和金融分析師。
生成式AI熱度的快速升溫將對(duì)IT行業(yè)產(chǎn)生影響,F(xiàn)orrester、Gartner等分析師和研究機(jī)構(gòu)也在預(yù)測后續(xù)沖擊。部分?jǐn)?shù)據(jù)存儲(chǔ)行業(yè)將憑借生成式AI獲取巨大的潛在銷售收益,本文將嘗試對(duì)此做出分類。
William Blair發(fā)布的126頁《生成式AI:自動(dòng)化的新前沿》報(bào)告提供了大量信息。
硬件
DRAM – 運(yùn)行大語言模型訓(xùn)練和推理的CPU/GPU服務(wù)器將迎來強(qiáng)勁需求,其中包括用于GPU的高帶寬內(nèi)存HBM。
PCIe – PCIe 4和5.0組件供應(yīng)商應(yīng)該為需求激增做好準(zhǔn)備。
CXL – CXL 2.0內(nèi)存池也將從大語言模型的火熱中得到一劑強(qiáng)心針,包括CXL硬件供應(yīng)商。因此,三星、SK海力士等DRAM擴(kuò)展器、CXL交換機(jī)和其他組件廠商都將獲得收益。
NAND與SSD – 需求必然越來越多,主要集中在NVMe、PCIe 4.0和5.0連接以及性能與容量的組合。因此QLC和高層數(shù)TLC NAND也將因此受益。所有NAND晶圓廠和SSD供應(yīng)商都應(yīng)關(guān)注這方面市場。
存儲(chǔ)陣列 – 市場需要高容量和高速IO。AI/機(jī)器學(xué)習(xí)集群將需要PB級(jí)別的容量。大語言模型訓(xùn)練的運(yùn)行需要配合高速數(shù)據(jù)集讀取和檢查點(diǎn)寫入,這種并行訪問必然依賴于硬件和軟件。大語言模型的推理運(yùn)行需要高讀取訪問率,以及到處理器的并行數(shù)據(jù)傳輸路徑。
考慮到現(xiàn)實(shí)需求,這波熱潮可能主要有利于使用NVMe協(xié)議和支持英偉達(dá)GPU服務(wù)器GPUDirect的文件訪問全閃存陣列。DDN、NetApp、Pure Storage(AIRI)和VAST Data等供應(yīng)商已經(jīng)做好了戰(zhàn)斗準(zhǔn)備。Panasas也不會(huì)錯(cuò)過邊緣位置的AI業(yè)務(wù)機(jī)會(huì)。相比之下,對(duì)象存儲(chǔ)和塊存儲(chǔ)廠商的想象空間似乎就相對(duì)有限。
我們認(rèn)為,尚不支持GPUDIrect的供應(yīng)商應(yīng)該抓緊補(bǔ)上這塊短板。
軟件
以CXL為重點(diǎn)的軟件 – MemVerge和Unifabrix等供應(yīng)商應(yīng)該會(huì)迎來一波持續(xù)性的業(yè)務(wù)高潮。
數(shù)據(jù)分析 – 供應(yīng)商需要抓緊時(shí)間引入大語言模型前端。
數(shù)據(jù)庫、數(shù)據(jù)倉庫和智能湖倉 – 供應(yīng)商必須能夠支持大語言模型所需要的向量嵌入。目前,為用戶提供聊天機(jī)器人前端的需求已經(jīng)非常強(qiáng)烈,這將使得非數(shù)據(jù)科學(xué)家和非資深SQL用戶也能運(yùn)行復(fù)雜分析。這些廠商還有機(jī)會(huì)將新成果引入ETL(提取、轉(zhuǎn)換和加載)流程,將選定的數(shù)據(jù)快速輸出至大語言模型以進(jìn)行訓(xùn)練和推理。
數(shù)據(jù)管理工具 – 可以應(yīng)用大語言模型技術(shù)分析自己的數(shù)據(jù)集,并為AI流程提供數(shù)據(jù)以擴(kuò)大業(yè)務(wù)規(guī)模。
高速陣列 – 供應(yīng)商可以將自己的軟件移植到運(yùn)行生成式AI模型的公有云,借此支持以本地/公有云混合的方式運(yùn)行大語言模型的客戶。
橫向擴(kuò)展并行文件系統(tǒng) – IBM(Storage Scale)和WEKA等供應(yīng)商在這方面處于有利地位,其現(xiàn)有客戶正在應(yīng)用生成式AI技術(shù),新客戶則迫切需要快速、大容量的文件訪問軟件。這部分業(yè)務(wù)空間同樣相當(dāng)可觀。
間接受益方和不受影響方
云文件服務(wù)供應(yīng)商 – 這類廠商可以使用云端存儲(chǔ)的數(shù)據(jù)集為大語言模型提供數(shù)據(jù),但數(shù)據(jù)需要從底層對(duì)象庫轉(zhuǎn)移至更快的訪問存儲(chǔ)介質(zhì);換言之,類似于某種形式的ETL。但也不排除AWS、Azure和谷歌等云服務(wù)商會(huì)提供類似于GPUDirect的方式,將數(shù)據(jù)從S3/Azure Blob等直接傳遞至GPU實(shí)例。
數(shù)據(jù)編排工具 – 這類廠商可以幫助客戶編排大語言模型所需要的數(shù)據(jù),借此獲取間接收益。
數(shù)據(jù)保護(hù)與安全 – 供應(yīng)商需要關(guān)注適用于管理設(shè)施的聊天機(jī)器人界面,借此更好地保護(hù)數(shù)據(jù)集并發(fā)現(xiàn)漏洞。特定領(lǐng)域的聊天機(jī)器人可以檢查組織的攻擊并確定相應(yīng)保護(hù)措施。數(shù)據(jù)保護(hù)備份數(shù)據(jù)集則可以為大語言模型提供給定的ETL過程。
磁盤驅(qū)動(dòng)器陣列 – 這類產(chǎn)品速度太慢,只要作為主存儲(chǔ)閃存之外的次級(jí)存儲(chǔ)形式。
生命周期管理工具 – 這類廠商需要研究聊天機(jī)器人界面如何幫助用戶提高工作效率。
安全供應(yīng)商 – 聊天機(jī)器人和其他AI技術(shù)的發(fā)展成熟,將幫助這類廠商高效檢測、響應(yīng)惡意軟件和處理用戶交互。
軟件定義存儲(chǔ) – 這類廠商有可能被生成式AI的浪潮甩在身后,必須找到某種方法滿足高性能訪問需求才有可能分得額外業(yè)務(wù)空間。
存儲(chǔ)管理員 – 聊天機(jī)器人能夠提高他們的工作效率,或者由技術(shù)水平較低的員工完成原本對(duì)技能要求較高的工作。
磁帶系統(tǒng) – 這類歸檔系統(tǒng)速度過慢,無法與大語言模型提供數(shù)據(jù),但在市場上仍有生存空間。
Web3 – 此類存儲(chǔ)速度太慢,在大語言模型的世界中沒有任何發(fā)揮余地。