數(shù)據(jù)可觀測性是指全面監(jiān)控和了解系統(tǒng)內數(shù)據(jù)行為的能力。它提供了數(shù)據(jù)實時管理方面的透明度，而不僅僅是數(shù)據(jù)監(jiān)控。其中包括質量、資源使用情況、運營指標、系統(tǒng)相互依賴關系、數(shù)據(jù)沿襲以及數(shù)據(jù)基礎架構的整體運行狀況。

在數(shù)據(jù)集成的背景下，監(jiān)控和理解數(shù)據(jù)流的能力是確保數(shù)據(jù)在集成過程中各個階段的質量和可靠性的關鍵。過去，用戶經常對工作流程缺乏透明度和相關報告，并對數(shù)據(jù)工作流的分析結果提出擔憂。隨著人工智能時代的到來，人工智能驅動的數(shù)據(jù)集成工作流程將改變這一現(xiàn)狀。

數(shù)據(jù)可觀性的重要性

強大的數(shù)據(jù)可觀測性能夠確保數(shù)據(jù)整個集成生命周期（從生產到使用）的透明度，并使用戶有信心做出以數(shù)據(jù)為導向的業(yè)務決策。

具有高度數(shù)據(jù)可觀測性標準的公司可以輕松、自信地回答影響數(shù)據(jù)集成結果的直接問題。例如：

1) 用戶可用數(shù)據(jù)的真實性如何？數(shù)據(jù)工程師、數(shù)據(jù)科學家和業(yè)務運營團隊是否查看和使用相同的數(shù)據(jù)？在數(shù)據(jù)集成過程中，我們的數(shù)據(jù)是否失去了保真度？

2) 用戶是否能夠跟蹤數(shù)據(jù)沿襲？ 當數(shù)據(jù)通過我們的管道運行時，我們是否清楚地記錄了數(shù)據(jù)的來源、轉換和目標？能否反映整個數(shù)據(jù)生態(tài)系統(tǒng)中數(shù)據(jù)集成工作流程的變化？

3)是否能夠實時了解我們的數(shù)據(jù)流程？在數(shù)據(jù)管道中，某一部分的變化將如何影響下游流程？我們能否實時檢測可能影響數(shù)據(jù)完整性或性能的異常情況？

4)根本原因分析流程的有效性如何？我們是否能夠快速檢測數(shù)據(jù)異常、瓶頸和漏洞，從而實現(xiàn)預測性維護和預防措施？

5)能否有效地排除故障嗎？ 當數(shù)據(jù)管道破裂時，我們能夠多快識別出故障點，及時進行干預并修復它？

6)數(shù)據(jù)集成工作流程是否合規(guī)？ 我們的流程是否符合數(shù)據(jù)治理、安全和隱私法規(guī)？

雖然即使使用最好的數(shù)據(jù)管道也可能出現(xiàn)瓶頸和損壞，但可觀測性設置了檢查點，為數(shù)據(jù)帶來信任和可信度。最終，企業(yè)越信任和使用數(shù)據(jù)，數(shù)據(jù)集成投資的投資回報率就越高。

AI 驅動的數(shù)據(jù)可觀測性

在日益復雜的混合數(shù)據(jù)集成環(huán)境中，對數(shù)據(jù)可觀測性實踐的需求比以往任何時候都更加迫切。然而，采用手動的流程不足以滿足這些需求。

AI 驅動的工具通過跨工作流自動監(jiān)控、分析和檢測問題，無論操作的規(guī)模有多大和復雜程度如何，都能夠提高數(shù)據(jù)可觀測性，并提供對數(shù)據(jù)管道的實時可見性。

人工智能驅動的工具產生重大影響的一些領域包括：

異常檢測

在復雜的數(shù)據(jù)集成環(huán)境中，即使識別數(shù)據(jù)管道中的故障點也可能是一項挑戰(zhàn)。人工智能算法可以學習數(shù)據(jù)流的正常模式和行為，并標記任何異常或偏離這些模式?，F(xiàn)代 AI 驅動的數(shù)據(jù)可觀測性工具有助于減少平均檢測時間 （MTTD） 和同時解決 （MTTR） 數(shù)據(jù)質量和管道問題。

預測分析

機器學習模型有助于根據(jù)歷史數(shù)據(jù)模式預測未來的趨勢或問題。這種可見性有助于預測數(shù)據(jù)集成流程中的潛在瓶頸、延遲問題或錯誤，從而實現(xiàn)主動優(yōu)化和持續(xù)流程改進。

自動根本原因分析

人工智能可以分析大量數(shù)據(jù)和系統(tǒng)日志，以自動識別問題的根本原因。查明錯誤或差異的根源可縮短檢測時間并縮短系統(tǒng)停機時間。減少對被動故障排除的需求也轉化為資源利用率的提高和運營成本效率。

手動日志和文檔分析

多年來，許多圍繞數(shù)據(jù)集成工作流的文檔以不一致的格式和不同的位置堆積在整個組織中。人工智能驅動的自然語言處理 （NLP） 技術可以理解、處理和解釋與數(shù)據(jù)集成相關的日志、文檔和通信，并提取有意義的見解以檢測問題或確定需要改進的領域。

數(shù)據(jù)質量監(jiān)控

可以訓練機器學習模型來監(jiān)控數(shù)據(jù)的準確性和完整性，并在出現(xiàn)數(shù)據(jù)質量問題時自動標記和解決這些問題，通常無需任何人工干預。

自動化元數(shù)據(jù)管理

人工智能驅動的工具可以自動收集、標記和組織與數(shù)據(jù)集成過程相關的元數(shù)據(jù)。通過數(shù)據(jù)目錄，可以更輕松地搜索和跟蹤數(shù)據(jù)沿襲、依賴關系以及與數(shù)據(jù)集成相關的其他關鍵信息，從而促進更好的數(shù)據(jù)發(fā)現(xiàn)和理解。

使數(shù)據(jù)可觀測性成為現(xiàn)代數(shù)據(jù)集成策略不可或缺的一部分

數(shù)據(jù)可觀測性是 Gartner 2022 年超級周期中的一項重大創(chuàng)新，正迅速吸引面向未來的數(shù)據(jù)工程師的關注。

由此導致的市場上可觀測性解決方案數(shù)量的爆炸式增長導致了功能的碎片化，許多產品對數(shù)據(jù)可觀測性的定義過于狹隘，僅提供所需功能的子集，或者增加了數(shù)據(jù)集成生態(tài)系統(tǒng)的復雜性。

全面的可觀測性解決方案應提供端到端可見性，以及跨多云和混合云環(huán)境無縫工作的高級異常檢測、預測分析和自動問題解決功能。

然而，這不應該讓數(shù)據(jù)工程師的生活變得更加復雜，他們已經必須管理和監(jiān)控各種復雜的數(shù)據(jù)管道。

為了解決這個問題，現(xiàn)代數(shù)據(jù)集成解決方案越來越多地將高級可觀測性功能嵌入到核心產品中，從而進一步簡化了整個數(shù)據(jù)供應鏈的運營。

AI 驅動的端到端數(shù)據(jù)管理和集成解決方案能夠幫助我們在數(shù)據(jù)集成工作流的每個階段更智能地工作，同時利用高級數(shù)據(jù)可觀測性功能的優(yōu)勢來減少錯誤、管理成本并從數(shù)據(jù)中創(chuàng)造更多價值。

原文標題：Data Observability in the Age of AI: A Guide for Data Engineers

原文作者：Sudipta Datta