[[342434]]

參考數(shù)據(jù)管理是對定義的數(shù)據(jù)值域進行控制，包括對標準化術語、代碼值和其他唯一標識符以及每個取值的業(yè)務定義的控制，和對數(shù)據(jù)域值列表內(nèi)部和跨不同列表之間的業(yè)務關系的控制;并且對準確、及時和相關參考數(shù)據(jù)值的一致，共享使用進行控制，以進行數(shù)據(jù)分類和目錄整編。

如參考數(shù)據(jù)-“ 訂單狀態(tài) ”：新建立、處理中、完結(jié)、取消等。

主數(shù)據(jù)管理是對主數(shù)據(jù)值進行控制，以實現(xiàn)跨系統(tǒng)的一致、共享、上下文相關地使用主數(shù)據(jù)，以及對核心業(yè)務實體的真實情況的最準確、及時和相關的版本進行控制。

主數(shù)據(jù)一般包括下列實體的數(shù)據(jù)：

人，包括個人、組織及其角色，比如客戶、公民、病人、廠商、供應商、業(yè)務伙伴、競爭對手、員工和學生等。

產(chǎn)品，包括內(nèi)部和外部的產(chǎn)品。

財務結(jié)構(gòu)，例如總賬、成本中心、利潤中心等。

位置，例如地址信息

首先必須說明，單一的業(yè)務系統(tǒng)應該沒有主數(shù)據(jù)的概念，參考數(shù)據(jù)為了確保不同的業(yè)務采用同樣的控制模式，可以存在。

隨著業(yè)務系統(tǒng)的不斷增加，核心業(yè)務實體不斷被抽象出來，在不同業(yè)務系統(tǒng)之間實現(xiàn)業(yè)務實體的共享和流轉(zhuǎn)，就產(chǎn)生了主數(shù)據(jù)管理。

按照DAMA-DMBOK，理想的參考數(shù)據(jù)和主數(shù)據(jù)架構(gòu)應該是這樣的。

參考數(shù)據(jù)和主數(shù)據(jù)只有一份正本，各業(yè)務系統(tǒng)只在這一份正本數(shù)據(jù)上進行相關業(yè)務操作，所有參考數(shù)據(jù)和主數(shù)據(jù)都是一致的。

但實際上主數(shù)據(jù)管理不是一蹴而就的，而且主數(shù)據(jù)的傳播跟業(yè)務也很大的相關性，實時性要求高的采用SOA總線接口方式，稍微差一些的采用消息隊列方式，批量數(shù)據(jù)的傳播則采用sftp/ftp方式，為了確保數(shù)據(jù)的一致性和版本管理，中間還構(gòu)建了主數(shù)據(jù)管理平臺，逐漸的主數(shù)據(jù)管理就演變成了以下的架構(gòu)方式。

這種架構(gòu)方式看起來也很合理，但筆者在最近做主數(shù)據(jù)監(jiān)控和管理過程中，發(fā)現(xiàn)了諸多問題，這些問題與主數(shù)據(jù)有關、與數(shù)據(jù)質(zhì)量有關、和業(yè)務系統(tǒng)有關 、和業(yè)務部門有關、和數(shù)據(jù)治理組織也有關。

在前文中有一個統(tǒng)計數(shù)據(jù)，據(jù)統(tǒng)計數(shù)據(jù)質(zhì)量問題76%來自數(shù)據(jù)錄入錯誤，53%來自源系統(tǒng)的變化，48%來自數(shù)據(jù)遷移或項目改建，46%來自用戶不同的期望，26%來自系統(tǒng)錯誤。

在主數(shù)據(jù)問題分析中，也可以大致分為存量數(shù)據(jù)問題、業(yè)務流程問題、技術問題、網(wǎng)絡問題。

網(wǎng)絡問題是造成主數(shù)據(jù)流轉(zhuǎn)出現(xiàn)問題的直接原因，網(wǎng)絡抖動和網(wǎng)絡問題時有發(fā)生，但不是主要問題，也可以通過重發(fā)機制，將數(shù)據(jù)彌補過來。

數(shù)量最多的是存量數(shù)據(jù)問題，這類問題大多數(shù)歷史遺留原因?qū)е碌?，系統(tǒng)上線之初，未按照主數(shù)據(jù)的要求進行數(shù)據(jù)遷移，A、B、C要確保一致性，只有A表正常遷移了;但需要同步A、B、C表，下游缺乏B、C表內(nèi)容，所以A表也無法同步下去，據(jù)統(tǒng)計存量數(shù)據(jù)問題約占了80%的數(shù)據(jù)量。

其次是技術問題，主數(shù)據(jù)從A系統(tǒng)分發(fā)到B系統(tǒng)，但B系統(tǒng)只負責接收，但實際上并未正確入庫，或者未正確返回狀態(tài)，這樣也會導致主數(shù)據(jù)不一致，上游的表結(jié)構(gòu)修改也會導致此類問題發(fā)生。

最后是業(yè)務流程問題，A系統(tǒng)和B系統(tǒng)按照相關的業(yè)務規(guī)范實現(xiàn)數(shù)據(jù)流轉(zhuǎn)，但隨著業(yè)務的變化，A系統(tǒng)進行了相關修訂，但B系統(tǒng)認為此修訂與之無關，既然無關，部分數(shù)據(jù)可用可不用，所以干脆直接放棄好了。

后面的三類問題通過組織各個干系人，包括技術支撐部門、各業(yè)務部門、各業(yè)務廠家，終歸可以得到解決方案，但在實際解決過程中，常常面臨著職責不分，溝通協(xié)調(diào)機制、費用分攤等難題，導致看起來容易解決的問題，實際解決起來遙遙無期。

這就涉及到數(shù)據(jù)治理組織的問題了。

本文轉(zhuǎn)載自微信公眾號「追夢IT人」，可以通過以下二維碼關注。轉(zhuǎn)載本文請聯(lián)系追夢IT人公眾號。