人工智能的進(jìn)步可能是2024年的主要推動(dòng)力，也凸顯出大數(shù)據(jù)的挑戰(zhàn)——如何存儲(chǔ)、管理、管理和使用大數(shù)據(jù)——從未如此緊迫。，因?yàn)槿绻鳛榛臄?shù)據(jù)失控，人工智能就沒(méi)有意義了。當(dāng)然反之亦然。

在新的一年里，大數(shù)據(jù)會(huì)給我們帶來(lái)什么?盡管科技發(fā)展很難預(yù)測(cè)，行業(yè)專家仍然試圖通過(guò)對(duì)大數(shù)據(jù)領(lǐng)域的預(yù)測(cè)，為我們揭示未來(lái)。

數(shù)據(jù)庫(kù)提供商Percona的技術(shù)傳道者Dave Stokes表示，人們對(duì)矢量數(shù)據(jù)庫(kù)的興趣將會(huì)激增。然而，它無(wú)法“獨(dú)當(dāng)一面”。

Stokes預(yù)測(cè):“矢量數(shù)據(jù)庫(kù)將成為許多人討論的熱門新領(lǐng)域，但幾年后最終將被關(guān)系數(shù)據(jù)庫(kù)所吸收。”“每隔10年左右，就會(huì)有一種‘新’數(shù)據(jù)庫(kù)技術(shù)被宣布為關(guān)系數(shù)據(jù)庫(kù)，開發(fā)人員也會(huì)加入這一潮流，結(jié)果卻發(fā)現(xiàn)關(guān)系模型非常靈活，關(guān)系數(shù)據(jù)庫(kù)供應(yīng)商可以輕松地將新技術(shù)應(yīng)用到他們的產(chǎn)品中。

不同數(shù)據(jù)孤島的存在一直是數(shù)據(jù)工程師的眼中釘。但據(jù)Hammerspace的營(yíng)銷高級(jí)副總裁Molly Presley稱，2024年將帶來(lái)一線希望，因?yàn)橐环N集中式的數(shù)據(jù)編排形式將占據(jù)中心位置。

“組織將開始從‘存儲(chǔ)和復(fù)制’轉(zhuǎn)向數(shù)據(jù)編排的世界?！盤resley說(shuō)，“在人工智能進(jìn)步的推動(dòng)下，現(xiàn)在存在強(qiáng)大的工具來(lái)分析數(shù)據(jù)并梳理出可操作的見解。然而，文件存儲(chǔ)基礎(chǔ)設(shè)施并沒(méi)有跟上這些進(jìn)步的步伐。與試圖通過(guò)將文件副本從一個(gè)地方移動(dòng)到另一個(gè)地方來(lái)管理存儲(chǔ)筒倉(cāng)和分布式環(huán)境的解決方案不同，數(shù)據(jù)編排幫助組織將來(lái)自不同筒倉(cāng)和位置的數(shù)據(jù)集成到單個(gè)命名空間中，并在最有價(jià)值的時(shí)間和地點(diǎn)自動(dòng)放置數(shù)據(jù)，從而更容易分析和獲得見解?！?/p>

我們存儲(chǔ)的大多數(shù)數(shù)據(jù)都是非結(jié)構(gòu)化的。MinIO的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Periasamy表示，隨著數(shù)據(jù)的堆積，管理起來(lái)真的是一個(gè)挑戰(zhàn)，但2024年將帶來(lái)新的管理方法。

“到2024年，隨著人工智能應(yīng)用的飛速發(fā)展，我們將看到企業(yè)真正的非結(jié)構(gòu)化數(shù)據(jù)(音頻、視頻、會(huì)議記錄、演講、演示)出現(xiàn)爆炸式增長(zhǎng)。從人工智能的角度來(lái)看，這是高度‘可學(xué)習(xí)’的內(nèi)容，將其收集到人工智能數(shù)據(jù)湖中將大大提高整個(gè)企業(yè)的智能能力，但它也帶來(lái)了獨(dú)特的挑戰(zhàn)?！? Periasamy說(shuō)，“保持?jǐn)?shù)十PB數(shù)據(jù)的性能存在明顯的挑戰(zhàn)。這些問(wèn)題通常不能用傳統(tǒng)的SAN/NAS解決方案解決——它們需要現(xiàn)代的、高性能的對(duì)象存儲(chǔ)的屬性。這就是為什么大多數(shù)AI/ML技術(shù)(如OpenAI、Anthropic、Kubeflow)都利用對(duì)象存儲(chǔ)，以及為什么大多數(shù)數(shù)據(jù)庫(kù)都轉(zhuǎn)向以對(duì)象存儲(chǔ)為中心?！?/p>

根據(jù)Forrester的研究，企業(yè)管理的非結(jié)構(gòu)化數(shù)據(jù)將在2024年翻一番，為人工智能開辟了潛在的有利可圖的新選擇。

該分析集團(tuán)表示:“全球數(shù)據(jù)和分析決策者表示，他們組織管理的數(shù)據(jù)中只有27%是非結(jié)構(gòu)化的?！彪S著公司為客戶和員工推出更多的對(duì)話體驗(yàn)，生成式人工智能將使這一數(shù)字翻一番。企業(yè)將爭(zhēng)相存儲(chǔ)、分析和理解這些大量的非結(jié)構(gòu)化數(shù)據(jù)。這一趨勢(shì)將出現(xiàn)在數(shù)據(jù)管道領(lǐng)域，到2024年，80%的新數(shù)據(jù)管道將用于獲取、處理和存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。

Faction技術(shù)和運(yùn)營(yíng)副總裁Jeff Heller表示，到2024年，全球許多企業(yè)將實(shí)施數(shù)據(jù)優(yōu)先架構(gòu)，以簡(jiǎn)化其數(shù)據(jù)管理策略。

“公司正在經(jīng)歷范式轉(zhuǎn)變：他們要么選擇一種云，要么選擇另一種架構(gòu)來(lái)滿足他們的需求?！? Heller說(shuō)，“到2024年，企業(yè)將需要考慮哪種云計(jì)算最適合他們，以充分利用他們的數(shù)據(jù)?；诙唐谀繕?biāo)而非長(zhǎng)期增長(zhǎng)的決策將導(dǎo)致數(shù)據(jù)鎖定。為了及時(shí)做出決策，數(shù)據(jù)需要準(zhǔn)確和可訪問(wèn)。對(duì)于組織來(lái)說(shuō)，管理數(shù)據(jù)正變得越來(lái)越復(fù)雜。對(duì)高效數(shù)據(jù)管理策略的需求是至關(guān)重要的。企業(yè)將轉(zhuǎn)向提供從所有云的首選位置訪問(wèn)單個(gè)數(shù)據(jù)集的解決方案，以確保數(shù)據(jù)準(zhǔn)確性和提高效率?！?/p>

數(shù)據(jù)管道公司Matillion的首席產(chǎn)品官Ciaran Dynes表示，人工智能革命正在觸及生活的方方面面，包括大數(shù)據(jù)管理。

“在過(guò)去的十年里，數(shù)據(jù)工程師的角色已經(jīng)從根本上擴(kuò)展了。” Dynes說(shuō)，“未來(lái)12個(gè)月將是科技公司讓數(shù)據(jù)工程師的工作變得更簡(jiǎn)單的一年。新工具將進(jìn)入市場(chǎng)，集成到現(xiàn)有的平臺(tái)中，從而能夠?qū)⑸墒饺斯ぶ悄芴砑拥浆F(xiàn)有的數(shù)據(jù)管道中，并能夠在內(nèi)部部署這些模型，這樣用戶就可以像使用ChatGPT一樣與這些模型進(jìn)行實(shí)時(shí)交互。不管市場(chǎng)上的工具是什么，明年對(duì)數(shù)據(jù)工程師的重新培訓(xùn)也將是巨大的需求，以掌握提示工程，如何微調(diào)這些模型，如何大規(guī)模提高他們的生產(chǎn)力。明年，數(shù)據(jù)工程師的生活將變得更加有趣?！?/p>

你有多看重?cái)?shù)據(jù)工程師?據(jù)Snowflake公司產(chǎn)品管理總監(jiān)Jeff Hollan說(shuō)，到2024年，它們的價(jià)值將會(huì)更高。

Hollan說(shuō):“有很多人認(rèn)為，人工智能革命將取代數(shù)據(jù)工程師的角色。事實(shí)并非如此，事實(shí)上，他們的數(shù)據(jù)專業(yè)知識(shí)將比以往任何時(shí)候都更加重要，只是以一種新的、不同的方式。為了跟上不斷變化的形勢(shì)，數(shù)據(jù)工程師需要了解生成式人工智能如何增加價(jià)值。由數(shù)據(jù)工程師構(gòu)建和管理的數(shù)據(jù)管道可能是連接大型語(yǔ)言模型的第一個(gè)地方，以便組織釋放價(jià)值。數(shù)據(jù)工程師將是那些了解如何使用模型并將其插入數(shù)據(jù)管道以自動(dòng)提取價(jià)值的人。他們還需要監(jiān)督和理解人工智能的工作?！?/p>

當(dāng)數(shù)據(jù)由云中的第三方管理時(shí)，您可能會(huì)覺(jué)得數(shù)據(jù)失去了控制。Ngrok的首席技術(shù)官 Peter Shafton預(yù)測(cè)，2024年將是你開始重新掌控自己數(shù)據(jù)的一年。

Shafton說(shuō):“2024年的數(shù)據(jù)管理將顯著轉(zhuǎn)向更易于訪問(wèn)和控制?！薄半m然過(guò)去十年見證了基于云計(jì)算的數(shù)據(jù)解決方案的熱潮，但鐘擺又回到了更多的自我管理。這種轉(zhuǎn)變背后的原因有兩個(gè):隱私和成本效益。數(shù)據(jù)泄露的持續(xù)威脅以及對(duì)更嚴(yán)格的訪問(wèn)控制的需求使企業(yè)對(duì)僅依賴外部云平臺(tái)持謹(jǐn)慎態(tài)度。此外，云數(shù)據(jù)存儲(chǔ)和處理成本的不可預(yù)測(cè)性促使組織尋求更具可預(yù)測(cè)性和成本效益的解決方案。可訪問(wèn)且用戶友好的數(shù)據(jù)管理工具的激增也促進(jìn)了這一趨勢(shì)，這些工具通常源于Uber、Netflix和Airbnb等科技巨頭開創(chuàng)的開源解決方案。

“數(shù)據(jù)智能”這個(gè)術(shù)語(yǔ)已經(jīng)發(fā)展了幾年，指的是組織對(duì)其數(shù)據(jù)使用的各種數(shù)據(jù)管理工具。Nasuni的首席創(chuàng)新官Jim Liddle表示，未來(lái)12個(gè)月將是這個(gè)概念成敗的關(guān)鍵。

Liddle說(shuō):“數(shù)量驚人的公司存儲(chǔ)大量數(shù)據(jù)，僅僅是因?yàn)樗麄儾恢罃?shù)據(jù)中有什么，也不知道他們是否需要這些數(shù)據(jù)。”“數(shù)據(jù)是準(zhǔn)確的和最新的嗎?是否正確分類和“可搜索”?它是否兼容?它是否包含個(gè)人身份信息(PII)、受保護(hù)的健康信息(PHI)或其他敏感信息?它是按需提供還是存檔?在未來(lái)的一年里，所有公司都將被迫接受人工智能的數(shù)據(jù)質(zhì)量、治理、訪問(wèn)和存儲(chǔ)要求，然后才能推進(jìn)數(shù)字化轉(zhuǎn)型或改進(jìn)計(jì)劃，以獲得所需的競(jìng)爭(zhēng)優(yōu)勢(shì)?！?/p>

Coalesce的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Armon Petrossian表示，如果不能保持?jǐn)?shù)據(jù)的質(zhì)量和完整性，那么你就可以和2024年的GenAI計(jì)劃說(shuō)再見了。

他說(shuō):“到2024年，隨著數(shù)據(jù)從有價(jià)值的資產(chǎn)演變?yōu)榕畈l(fā)展的企業(yè)的命脈，技術(shù)領(lǐng)域?qū)⒁娮C一場(chǎng)變革。”“忽視數(shù)據(jù)質(zhì)量、完整性和血統(tǒng)的組織將面臨挑戰(zhàn)，不僅要做出明智的決策，還要實(shí)現(xiàn)生成式人工智能、法學(xué)碩士和機(jī)器學(xué)習(xí)應(yīng)用程序和用例的全部潛力。隨著今年的發(fā)展，我預(yù)測(cè)，那些忽視建立強(qiáng)大的數(shù)據(jù)基礎(chǔ)和戰(zhàn)略的組織將發(fā)現(xiàn)，在快速發(fā)展的科技行業(yè)中保持生存越來(lái)越具有挑戰(zhàn)性。那些不能適應(yīng)和優(yōu)先考慮數(shù)據(jù)基礎(chǔ)的公司將難以超越競(jìng)爭(zhēng)對(duì)手，甚至可能面臨在這個(gè)競(jìng)爭(zhēng)激烈的環(huán)境中生存的風(fēng)險(xiǎn)?！?/p>

數(shù)據(jù)沿襲構(gòu)成了一個(gè)持續(xù)的挑戰(zhàn)。altair云計(jì)算總工程師Yeshwant Mummaneni預(yù)測(cè)，2024年，區(qū)塊鏈將伸出援手。

Mummaneni說(shuō):“由于人工智能/機(jī)器學(xué)習(xí)模型在關(guān)鍵決策中發(fā)揮著關(guān)鍵作用，無(wú)論是由人類監(jiān)督還是以完全自主的方式，模型的來(lái)源/血統(tǒng)變得至關(guān)重要。”“為區(qū)塊鏈提供記錄、數(shù)字身份、簽名和利用密碼學(xué)驗(yàn)證的不變性的基礎(chǔ)技術(shù)，將成為企業(yè)人工智能提供防篡改模型來(lái)源的關(guān)鍵方面?！?/p>

另一個(gè)大數(shù)據(jù)趨勢(shì)將像2024年寒冷冬夜的冰晶一樣增長(zhǎng)：合成數(shù)據(jù)。這是SAS公司高級(jí)分析產(chǎn)品經(jīng)理斯Potamitis說(shuō)的。

Potamitis表示:“隨著組織面臨更嚴(yán)格的監(jiān)管，以及跨境共享敏感數(shù)據(jù)變得更具挑戰(zhàn)性，合成數(shù)據(jù)將獲得很大的吸引力?！薄昂铣蓴?shù)據(jù)可以高精度地捕獲原始數(shù)據(jù)源的統(tǒng)計(jì)屬性，從而克服監(jiān)管障礙，為組織開啟創(chuàng)新之門?！?/p>

ALTR首席執(zhí)行官Beecham表示，雖然你的大數(shù)據(jù)存儲(chǔ)庫(kù)感覺(jué)不錯(cuò)，但2024年將是數(shù)據(jù)治理“向左移動(dòng)”的一年。

Beecham說(shuō):“組織將在數(shù)據(jù)傳輸?shù)脑缙趯?shí)施數(shù)據(jù)治理和安全措施，在云數(shù)據(jù)倉(cāng)庫(kù)的左側(cè)，這不僅可以保護(hù)敏感信息，還可以提高所收集數(shù)據(jù)的整體質(zhì)量。”“隨著有關(guān)數(shù)據(jù)隱私和安全的法規(guī)越來(lái)越多，早期優(yōu)先考慮數(shù)據(jù)治理和安全的公司將更好地遵守這些法規(guī)。到2024年，預(yù)計(jì)將有大量公司優(yōu)先考慮數(shù)據(jù)治理和安全的轉(zhuǎn)移，使他們能夠在云數(shù)據(jù)倉(cāng)庫(kù)和湖屋上啟動(dòng)強(qiáng)大的數(shù)據(jù)訪問(wèn)治理和數(shù)據(jù)安全功能，并在數(shù)據(jù)離開源系統(tǒng)時(shí)將其擴(kuò)展到數(shù)據(jù)?！?/p>

在2023年，數(shù)據(jù)網(wǎng)格在其他技術(shù)趨勢(shì)中退居次要地位(主要風(fēng)頭在于GenAI)，但在2024年，數(shù)據(jù)網(wǎng)格的好處將變得非常明顯，不容忽視，Denodo的首席執(zhí)行官Angel Vi?a說(shuō)。

Vi?a表示:“2024年將是數(shù)據(jù)網(wǎng)格崛起的關(guān)鍵一年，它包含了數(shù)據(jù)固有的分布式特性?！薄霸跀?shù)據(jù)網(wǎng)格中，IT的角色轉(zhuǎn)變?yōu)闉閿?shù)據(jù)域提供基礎(chǔ)以完成其工作，即在整個(gè)企業(yè)中創(chuàng)建和分發(fā)數(shù)據(jù)產(chǎn)品。轉(zhuǎn)折點(diǎn)將是認(rèn)識(shí)到數(shù)據(jù)產(chǎn)品應(yīng)與任何其他產(chǎn)品同等重要。在這個(gè)以數(shù)據(jù)為中心的時(shí)代，僅僅包裝數(shù)據(jù)是不夠的，企業(yè)需要提升終端用戶的整體體驗(yàn)。”