首席技術(shù)官兼技術(shù)策略師Gabriel Gonzalez為全球公司提供有關(guān)人工智能、云和數(shù)據(jù)的建議，以推動(dòng)創(chuàng)新和數(shù)字化轉(zhuǎn)型。

在人工智能和機(jī)器學(xué)習(xí)占據(jù)科技頭條的時(shí)代，令人驚訝的是，許多組織仍在基礎(chǔ)數(shù)據(jù)治理方面苦苦掙扎。盡管在高級(jí)分析和人工智能項(xiàng)目上投入了數(shù)百萬(wàn)美元，但許多公司卻在不穩(wěn)固的基礎(chǔ)上構(gòu)建這些復(fù)雜的系統(tǒng)。就像在沙地上建造摩天大樓一樣，其結(jié)果可想而知是成問(wèn)題的。

作為一名曾將眾多數(shù)據(jù)環(huán)境從災(zāi)難邊緣拯救出來(lái)的技術(shù)高管，我親眼目睹了即使是大型企業(yè)也會(huì)忽視基本的數(shù)據(jù)管理原則。這些原則可以避免代價(jià)高昂的故障，并釋放巨大的價(jià)值。

基礎(chǔ)設(shè)施的重要性

這種脫節(jié)令人震驚。企業(yè)熱衷于采用尖端人工智能技術(shù)，卻忽視了這些系統(tǒng)所依賴的基礎(chǔ)設(shè)施。數(shù)據(jù)通常駐留在老化的服務(wù)器、孤立的數(shù)據(jù)庫(kù)和分散的系統(tǒng)中，有時(shí)缺乏高可用性或適當(dāng)?shù)膫浞輩f(xié)議。

災(zāi)難發(fā)生時(shí)，恢復(fù)可能需要 24 到 48 小時(shí)，從而導(dǎo)致嚴(yán)重的業(yè)務(wù)中斷和財(cái)務(wù)損失。這種疏忽不僅風(fēng)險(xiǎn)高昂，而且代價(jià)高昂。企業(yè)錯(cuò)失了利用現(xiàn)有數(shù)據(jù)資產(chǎn)的機(jī)會(huì)，同時(shí)增加了運(yùn)營(yíng)成本和安全漏洞。如果沒(méi)有合適的數(shù)據(jù)基礎(chǔ)設(shè)施，即使是最復(fù)雜的人工智能模型也會(huì)得出不可靠的結(jié)果。垃圾輸入，垃圾輸出，規(guī)模如此之大。

數(shù)據(jù)完整性和單一事實(shí)來(lái)源

數(shù)據(jù)完整性的核心在于擁有準(zhǔn)確、一致且在整個(gè)生命周期內(nèi)保持有效性的信息。然而，許多組織甚至難以識(shí)別其擁有的數(shù)據(jù)，更不用說(shuō)有效地管理它們了。

令人驚訝的是，許多企業(yè)缺乏數(shù)據(jù)字典。數(shù)據(jù)字典是一個(gè)重要的工具，它記錄了數(shù)據(jù)存在哪些內(nèi)容、含義是什么、存儲(chǔ)在哪里、所有者是誰(shuí)以及數(shù)據(jù)與其他信息的關(guān)系。如果沒(méi)有數(shù)據(jù)字典，組織每次啟動(dòng)新項(xiàng)目時(shí)都會(huì)浪費(fèi)大量時(shí)間重新發(fā)現(xiàn)自己的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)分散在各個(gè)系統(tǒng)之間，造成數(shù)據(jù)不一致和效率低下。

為關(guān)鍵業(yè)務(wù)信息建立單一真實(shí)來(lái)源，可以消除矛盾并降低維護(hù)成本。這并不一定意味著將所有數(shù)據(jù)集中到一個(gè)位置，而是需要實(shí)施清晰的層級(jí)結(jié)構(gòu)和規(guī)則，以定義權(quán)威來(lái)源。

數(shù)據(jù)不斷演變。適當(dāng)?shù)陌姹究刂啤⒏鲁绦蚝蛯徲?jì)跟蹤可確保更改不會(huì)損害完整性或造成意外的后續(xù)影響。自動(dòng)化數(shù)據(jù)質(zhì)量檢查應(yīng)在數(shù)據(jù)管道的每個(gè)階段驗(yàn)證完整性。明確的質(zhì)量問(wèn)題處理策略有助于維護(hù)對(duì)數(shù)據(jù)的信任。

實(shí)時(shí)訪問(wèn)和分析

在需要時(shí)無(wú)法訪問(wèn)的數(shù)據(jù)實(shí)際上毫無(wú)價(jià)值。我職業(yè)生涯的大部分時(shí)間都花在金融服務(wù)和銀行業(yè)，數(shù)據(jù)的獲取時(shí)機(jī)可能決定著能否抓住機(jī)會(huì)，還是徹底錯(cuò)失良機(jī)。

如果客戶的信用記錄在入職流程中晚到兩秒，您可能會(huì)錯(cuò)過(guò)有關(guān)付款歷史的關(guān)鍵風(fēng)險(xiǎn)指標(biāo)，從而導(dǎo)致糟糕的貸款決策，并產(chǎn)生連鎖后果。數(shù)據(jù)可用性的戰(zhàn)略性方法需要在性能需求和成本考量之間取得平衡。為了滿足交易處理、風(fēng)險(xiǎn)評(píng)估和欺詐檢測(cè)等運(yùn)營(yíng)需求，實(shí)時(shí)數(shù)據(jù)必須在幾毫秒內(nèi)交付。

歷史數(shù)據(jù)應(yīng)進(jìn)行優(yōu)化，以便進(jìn)行深度分析和預(yù)測(cè)建模。這通常采用“銅、銀、金”模式來(lái)實(shí)現(xiàn)，即對(duì)原始數(shù)據(jù)進(jìn)行保存、結(jié)構(gòu)化、驗(yàn)證，并最終為業(yè)務(wù)使用做好準(zhǔn)備。

云彈性

利用云的彈性至關(guān)重要。云平臺(tái)提供幾乎無(wú)限的資源，并可根據(jù)需求擴(kuò)展。云服務(wù)無(wú)需過(guò)度配置本地基礎(chǔ)設(shè)施，而是可以根據(jù)實(shí)際需求進(jìn)行動(dòng)態(tài)調(diào)整。

架構(gòu)設(shè)計(jì)應(yīng)考慮容錯(cuò)和自動(dòng)恢復(fù)，以確保高彈性。Lakehouse 模型將數(shù)據(jù)湖的靈活性與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的性能和治理相結(jié)合，為現(xiàn)代數(shù)據(jù)平臺(tái)提供了統(tǒng)一高效的基礎(chǔ)。

生命周期管理和優(yōu)化

大多數(shù)組織產(chǎn)生的數(shù)據(jù)量遠(yuǎn)超其實(shí)際使用量。一個(gè)周全的數(shù)據(jù)生命周期策略，結(jié)合生命周期管理、優(yōu)化的存儲(chǔ)格式和自動(dòng)化的管道，可以將這些數(shù)據(jù)轉(zhuǎn)化為預(yù)測(cè)性資產(chǎn)，而不會(huì)增加成本或復(fù)雜性。

數(shù)據(jù)訪問(wèn)的民主化和促進(jìn)實(shí)驗(yàn)也至關(guān)重要?，F(xiàn)代安全技術(shù)和人工智能驅(qū)動(dòng)的界面如今允許業(yè)務(wù)用戶使用自然語(yǔ)言與數(shù)據(jù)交互，從而發(fā)現(xiàn)原本隱藏的洞見(jiàn)。

我曾合作過(guò)的一家機(jī)構(gòu)管理著400萬(wàn)客戶20年來(lái)的信用卡交易，產(chǎn)生了海量數(shù)據(jù)，需要進(jìn)行優(yōu)化。我們實(shí)施了一項(xiàng)轉(zhuǎn)型策略，首先確定了訪問(wèn)量最大、最頻繁的表。我們創(chuàng)建了自動(dòng)化數(shù)據(jù)管道來(lái)處理這些信息，并生成按日和月組織的優(yōu)化Parquet文件。

隨后，我們將歷史數(shù)據(jù)遷移到云端數(shù)據(jù)湖，并調(diào)整了現(xiàn)有查詢以訪問(wèn)新的存儲(chǔ)層。冗余數(shù)據(jù)被安全地從生產(chǎn)系統(tǒng)中移除，同時(shí)保留了引用完整性。這種方法將查詢時(shí)間縮短了 10 倍，同時(shí)顯著降低了存儲(chǔ)成本和系統(tǒng)復(fù)雜性。

我們將數(shù)據(jù)庫(kù)占用空間縮減至僅10%，僅保留必要的交易數(shù)據(jù)作為主要事實(shí)來(lái)源。更重要的是，這使得業(yè)務(wù)分析師能夠解答此前因性能限制而無(wú)法解決的問(wèn)題，從而從現(xiàn)有數(shù)據(jù)資產(chǎn)中挖掘新的洞察。

實(shí)現(xiàn)數(shù)據(jù)治理

將數(shù)據(jù)視為戰(zhàn)略資產(chǎn)是第一步。數(shù)據(jù)應(yīng)該享有與金融資產(chǎn)同等程度的保護(hù)和管理，制定明確的、由高管支持的戰(zhàn)略至關(guān)重要。

簡(jiǎn)化技術(shù)堆棧有助于降低復(fù)雜性和維護(hù)成本。實(shí)施 Lakehouse 架構(gòu)為數(shù)據(jù)工程、分析和機(jī)器學(xué)習(xí)提供了統(tǒng)一的基礎(chǔ)。最后，適當(dāng)?shù)膫浞莩绦蚝投ㄆ诘幕謴?fù)過(guò)程測(cè)試可確保數(shù)據(jù)的彈性。

在邁向人工智能驅(qū)動(dòng)的未來(lái)之際，企業(yè)不應(yīng)忽視這些先進(jìn)技術(shù)得以實(shí)現(xiàn)的基本要素。掌握基礎(chǔ)數(shù)據(jù)治理的企業(yè)將更有能力從其信息資產(chǎn)中獲取真正的價(jià)值，同時(shí)最大限度地降低成本和風(fēng)險(xiǎn)。

好消息是，這些挑戰(zhàn)主要并非技術(shù)層面，而是組織層面的。只要管理層下定決心，并采取有條不紊的方法，任何公司都能將數(shù)據(jù)從被忽視的資源轉(zhuǎn)化為競(jìng)爭(zhēng)優(yōu)勢(shì)。