一、數(shù)據(jù)架構(gòu)與數(shù)據(jù)模型概述

1、DAMA DMBOK 數(shù)據(jù)架構(gòu)與數(shù)據(jù)治理

數(shù)據(jù)架構(gòu)及數(shù)據(jù)模型管理是數(shù)據(jù)治理體系的重要組成部分。類似于項目管理中的 PMI、PMP，國際上于 1980 年成立了 DAMA（數(shù)據(jù)資產(chǎn)管理協(xié)會）。DAMA 凝集了數(shù)百位專家的經(jīng)驗，最終形成業(yè)界通用的數(shù)據(jù)管理框架（DMBOK）。DAMA-DMBOK 數(shù)據(jù)管理框架（又稱為 DAMA 車輪圖)，主要由 11 個知識領(lǐng)域構(gòu)建而成，其中數(shù)據(jù)架構(gòu)和數(shù)據(jù)模型是這套方法論最重要的兩個維度。

數(shù)據(jù)架構(gòu)主要用來識別企業(yè)的數(shù)據(jù)需求，并設(shè)計藍(lán)圖，最終輸出數(shù)據(jù)架構(gòu)設(shè)計和實施路線圖，詳見下圖所示。

2、建設(shè)數(shù)據(jù)模型的流程

數(shù)據(jù)模型的建立，業(yè)界通用的方法論如下所述：

① 前期的設(shè)計主要聚焦于業(yè)務(wù)，基于客戶需求，完成概念模型和邏輯模型的設(shè)計；

② 進(jìn)一步，基于企業(yè)現(xiàn)有的技術(shù)環(huán)境和性能要求，將概念模型和邏輯模型轉(zhuǎn)化成可落地的物理模型；

③ 再進(jìn)一步，將物理模型結(jié)合實際數(shù)據(jù)轉(zhuǎn)化成數(shù)據(jù)庫表結(jié)構(gòu)（以及創(chuàng)建表結(jié)構(gòu)對應(yīng)的 DDL 腳本），最終形成數(shù)據(jù)庫表字段；

④ 對于模型的設(shè)計和落地過程中的重要節(jié)點，往往會形成一套相應(yīng)的企業(yè)標(biāo)準(zhǔn)，實現(xiàn)規(guī)范化。

不管源端系統(tǒng)有沒有進(jìn)行模型設(shè)計，數(shù)據(jù) schema 都存在，都可以通過逆向工程抽取出來提煉成模型，這些模型更多地描述業(yè)務(wù)系統(tǒng)涵蓋的數(shù)據(jù)范圍，以及數(shù)據(jù)之間的關(guān)系；如果模型質(zhì)量高，可以更好地幫助企業(yè)理解數(shù)據(jù)資產(chǎn)的價值。因此可以認(rèn)為，所有的系統(tǒng)都有數(shù)據(jù)模型，只是有些模型更容易理解，也更容易對企業(yè)產(chǎn)生價值。

3、所有模型都是為了業(yè)務(wù)開展，不同視角，不同階段

對于如今流行的大數(shù)據(jù)概念，人們普遍將關(guān)注點聚焦在分析側(cè)（即 AP 側(cè)）。實際上，大數(shù)據(jù)模型不僅僅包含 AP 側(cè)，TP 側(cè)（即企業(yè)的源端業(yè)務(wù)系統(tǒng)）在信息化或數(shù)字化過程中同樣會構(gòu)建出各種各樣的數(shù)據(jù)產(chǎn)品（或系統(tǒng)），最終應(yīng)用于企業(yè)內(nèi)部或外部客戶。

對于數(shù)據(jù)庫底層設(shè)計，現(xiàn)階段大部分企業(yè)仍然使用傳統(tǒng)的數(shù)據(jù)庫構(gòu)建范式： 

① 在 TP 側(cè)，通常使用三范式模型這類 Inmon 模型；

② 在 AP 側(cè)的數(shù)據(jù)集市，通常使用維度模型（如雪花模型、星型模型）這類 Kimball 模型；

此外，近期迭代出更多更加新型的數(shù)據(jù)模型范式，如 Data Vault 模型、統(tǒng)一星型模型等，覆蓋范圍更加廣泛，可更加廣泛地應(yīng)用于 TP 側(cè)和 AP 側(cè)。

4、數(shù)據(jù)模型按階段分類

① 業(yè)務(wù)系統(tǒng)模型，通常選擇三范式模型；

② ODS 模型通常從業(yè)務(wù)系統(tǒng)直接接入，因此也選擇三范式模型；

③ DWD 模型和 DWS 模型作為企業(yè)級數(shù)倉，既可采用傳統(tǒng)的三范式模型，也可使用現(xiàn)代的 Data Vault 模型來構(gòu)建，都支持多對多的關(guān)系；

④ 集市模型一般使用維度模型，便于實現(xiàn)數(shù)據(jù)的上卷和下鉆等分析操作。

5、數(shù)據(jù)模型介紹

數(shù)據(jù)的關(guān)系卻錯綜復(fù)雜，成千上萬個表通過各種關(guān)系或約束互聯(lián)形成復(fù)雜的結(jié)構(gòu)。以生活中常見的場景為例，如房屋平面圖、地圖等，用不同的符號向相關(guān)用戶清晰展示相關(guān)信息。

通過數(shù)據(jù)模型，用戶可以清晰看到現(xiàn)有數(shù)據(jù)庫的結(jié)構(gòu)，并更直觀地理解關(guān)鍵的概念。數(shù)據(jù)模型主要包括概念模型、邏輯模型和物理模型這三個層次。

① 概念模型：主要用來描述世界的概念化結(jié)構(gòu)，是一個高層次的數(shù)據(jù)模型，由核心的數(shù)據(jù)實體或其集合，以及實體間的關(guān)系組成；

② 邏輯模型：對概念數(shù)據(jù)模型進(jìn)一步的分解和細(xì)化，描述實體、屬性以及實體關(guān)系；

③ 物理模型：面向特定的數(shù)據(jù)庫，結(jié)合數(shù)據(jù)庫特征，便于計算機(jī)實現(xiàn)的模型。

開發(fā)者在進(jìn)行模型設(shè)計的過程中，通常會將大部分時間和精力聚焦在概念模型和邏輯模型的設(shè)計和迭代優(yōu)化；物理模型則類似于對概念模型和邏輯模型的“編譯”操作，通過生成并執(zhí)行 DDL 腳本最終實現(xiàn)數(shù)據(jù)庫以及相應(yīng) schema 的創(chuàng)建。

二、數(shù)據(jù)架構(gòu)與模型解決方案

1、解決方案 1——模型設(shè)計和開發(fā)平臺一體化

通過 ER 圖可視化，可實現(xiàn)邏輯模型或物理模型的設(shè)計。以下圖為例，數(shù)據(jù)包括 hub、link、Satellite 三個核心概念；使用 Data Vault 模型，可實現(xiàn)更加靈活的數(shù)倉自動化操作，以更便捷的方式實現(xiàn)模型的解耦，來構(gòu)建復(fù)雜的、具有業(yè)務(wù)深度的行業(yè)模型。

完成模型的設(shè)計后，生成相應(yīng)的 DDL 腳本，通過 Create 功能或 Alter 功能，最終實現(xiàn)模型的管理和迭代。

2、解決方案 2——數(shù)據(jù)標(biāo)準(zhǔn)管控，數(shù)據(jù)規(guī)范檢查

（1）數(shù)據(jù)標(biāo)準(zhǔn)管控

在模型設(shè)計階段，所涉及的模型字段要實現(xiàn)標(biāo)準(zhǔn)化；通過指定或引用相關(guān)的企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)，利用智能推薦，更加方便地實現(xiàn)數(shù)據(jù)表字段的選取。

數(shù)據(jù)建模工具一般具有數(shù)據(jù)標(biāo)準(zhǔn)的功能，在模型設(shè)計期間，研發(fā)人員可以通過拖拉的方式直接引用數(shù)據(jù)標(biāo)準(zhǔn)，也可以在實體設(shè)計器中，使用智能推薦的數(shù)據(jù)標(biāo)準(zhǔn)，優(yōu)化數(shù)據(jù)應(yīng)用模式，提升模型設(shè)計效率。

如下圖所示，以電力系統(tǒng)模型為例，在表結(jié)構(gòu)設(shè)計過程中，通過關(guān)鍵詞（如變壓器）可以直接關(guān)聯(lián)到相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)而查詢到標(biāo)準(zhǔn)的字段名稱、物理類型、長度精度、業(yè)務(wù)定義等信息，進(jìn)而將標(biāo)準(zhǔn)引入到實體屬性中，同時實現(xiàn)了字段名稱、數(shù)據(jù)類型、數(shù)據(jù)精度的規(guī)范，進(jìn)而實現(xiàn)了源端業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型質(zhì)量的把控。

（2）命名詞典構(gòu)建

如果相關(guān)的企業(yè)或部門沒有制定嚴(yán)格的企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)，企業(yè)可以基于業(yè)務(wù)術(shù)語構(gòu)建統(tǒng)一術(shù)語詞典庫（即命名詞典）；借助這一詞典庫，解決研發(fā)人員建模時常見的“同一指標(biāo)多種命名”這類易發(fā)生歧義的問題；開發(fā)人員在模型構(gòu)建的過程中，對于模型實體及屬性命名，自動基于詞典庫進(jìn)行翻譯，實現(xiàn)數(shù)據(jù)模型的命名規(guī)范，使物理模型的設(shè)計質(zhì)量更高。

（3）中央模型庫

多人協(xié)作集成模型，會涉及復(fù)雜的版本迭代、版本對比等版本管理問題。因此，可建立類似 git 的中央模型庫，基于數(shù)據(jù)模型服務(wù)器實現(xiàn)數(shù)據(jù)模型設(shè)計規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)及模型設(shè)計成果的在線化管理；提供模型設(shè)計工具，實現(xiàn)模型設(shè)計規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)以及模型在線應(yīng)用，為數(shù)據(jù)標(biāo)準(zhǔn)落地提供手段；支撐設(shè)計態(tài)及運行態(tài)模型匹配監(jiān)測，實現(xiàn)數(shù)據(jù)模型從規(guī)范化設(shè)計到應(yīng)用全過程在線管理。 

（4）數(shù)據(jù)規(guī)范工具

將開發(fā)規(guī)則內(nèi)置到建模過程中，開發(fā)對應(yīng)的數(shù)據(jù)規(guī)范工具和數(shù)據(jù)標(biāo)準(zhǔn)一致性檢查工具，以解決研發(fā)人員設(shè)計不規(guī)范、缺少數(shù)據(jù)標(biāo)準(zhǔn)約束等業(yè)務(wù)痛點，最大程度地降低數(shù)據(jù)治理的成本：

① 數(shù)據(jù)規(guī)范工具可以檢測以下內(nèi)容：表和字段中文名稱不能為空；表和字段物理名稱不能為空等多項內(nèi)容。 

② 數(shù)據(jù)標(biāo)準(zhǔn)一致性檢查工具可以檢測：數(shù)據(jù)類型、中文名、英文簡稱是否和標(biāo)準(zhǔn)一致性等多項內(nèi)容。

3、解決方案 3——模型變更自動化、智能化

基于數(shù)據(jù)模型服務(wù)器構(gòu)建數(shù)據(jù)模型庫，數(shù)據(jù)庫承載數(shù)據(jù)標(biāo)準(zhǔn)、命名詞典、規(guī)范報告等信息；迭代優(yōu)化的模型通過統(tǒng)一的發(fā)版系統(tǒng)（如 jira、confluence 等）進(jìn)行統(tǒng)一發(fā)版，實現(xiàn)數(shù)據(jù)模型的存儲管理和版本變更管理，并提供模型在線查看編輯和多人協(xié)作等功能。

其核心功能點在于：

① 統(tǒng)一模型存儲，Web 模型共享和查詢；

②實現(xiàn)模型版本管理，模型變更全歷史記錄；

③ 自動進(jìn)行模型合規(guī)檢查，標(biāo)準(zhǔn)落標(biāo)報告；

④ 多人協(xié)作，同時編輯和修改模型；

⑤ 自動生成建庫腳本，數(shù)據(jù)字典管理。

采用類似 git 的代碼管理方式，模型設(shè)計工具從模型，分支，版本三個層面對模型進(jìn)行管理，最終有效解決研發(fā)人員的模型版本管理，實現(xiàn)協(xié)同共享。

4、解決方案 4——數(shù)據(jù)模型和業(yè)務(wù)場景業(yè)務(wù)對象對應(yīng)

大型企業(yè)除了數(shù)據(jù)模型設(shè)計，還需要對大量的業(yè)務(wù)場景做整合。業(yè)務(wù)架構(gòu)包括業(yè)務(wù)流程、業(yè)務(wù)活動等，涉及大量的業(yè)務(wù)表單和對應(yīng)的業(yè)務(wù)對象。在數(shù)據(jù)模型的數(shù)據(jù)實體頁面，將每一個實體和業(yè)務(wù)場景中的每一個業(yè)務(wù)對象進(jìn)行綁定，進(jìn)而通過 Datablau 自研的模型管控體系實現(xiàn)血緣關(guān)系的跟蹤和分析。

5、Datablau 模型管控體系簡介

?Datablau 模型管控體系包括事前、事中和事后這 3 個部分：

① 事前：通過統(tǒng)一的建模工具，進(jìn)行模型設(shè)計。

② 事中：增加模型評審環(huán)節(jié)，由領(lǐng)域架構(gòu)師、企業(yè)架構(gòu)師負(fù)責(zé)模型的評審，通過資產(chǎn)平臺進(jìn)行完整性檢查。

③ 事后：部署生產(chǎn)環(huán)境后，通過數(shù)據(jù)資產(chǎn)平臺檢查并監(jiān)?控模型的一致性、完整性并出具相關(guān)報告。

6、Datablau 模型管控體系與數(shù)據(jù)開發(fā)

將 Datablau DDM 工具納入開發(fā)投產(chǎn)流程后，各業(yè)務(wù)模塊需要進(jìn)行相應(yīng)的模型遷移，并使用平臺提供的典型能力進(jìn)行模型設(shè)計、開發(fā)測試和投產(chǎn)。

（1）模型導(dǎo)入

① 模型導(dǎo)入：通過導(dǎo)入工具，將 PD、ERWin 等工具的模型導(dǎo)入 DDM 中。

② 逆向工程：通過直聯(lián)數(shù)據(jù)庫的方式，逆向生成模型。

③ 信息補(bǔ)全：補(bǔ)充模型中缺失的字段信息，例如字段中文名稱。

（2）設(shè)計階段

① 模型設(shè)計：使用客戶端設(shè)計器進(jìn)行模塊設(shè)計與維護(hù)。

② 影響分析：設(shè)計階段能夠顯示模型的修改對下游系統(tǒng)的影響。

③ 字段引標(biāo)：設(shè)計工具中能夠引用數(shù)據(jù)標(biāo)準(zhǔn)。

（3）評審階段

① 任務(wù)管理：提交模型時需要與任務(wù)進(jìn)行關(guān)聯(lián)。

② 分支管理：按照推薦的最佳實踐進(jìn)行分支管理，分支間按照任務(wù)進(jìn)行內(nèi)容合并。

③ 模型評審：模型的變更必須經(jīng)過線上評審。

（4）投產(chǎn)階段

① DDL 校驗：將投產(chǎn) DDL 與模型工具導(dǎo)出 DDL 比對。對于不匹配的部分，近期可以人工確認(rèn)，遠(yuǎn)期改為系統(tǒng)認(rèn)定。

7、Datablau 模型分支管理策略

版本分支管理包括設(shè)計態(tài)和運行態(tài)這兩部分。數(shù)據(jù)模型按照開發(fā)與測試環(huán)境進(jìn)行對應(yīng)的版本管理，并基于每個分支的開發(fā)、SIT、UAT、版本等不同發(fā)布狀態(tài)進(jìn)行相應(yīng)的管理，最終形成統(tǒng)一的分支管理策略。

8、模型設(shè)計和開發(fā)平臺一體化

構(gòu)建模型設(shè)計和開發(fā)平臺一體化管理流程，實現(xiàn)模型設(shè)計人員從模型設(shè)計到數(shù)據(jù)架構(gòu)師審批模型，再到模型腳本入業(yè)務(wù)系統(tǒng)庫，并生成代碼嵌入數(shù)據(jù)標(biāo)準(zhǔn)給到開發(fā)平臺。

這套數(shù)據(jù)建模管理流程，可有效地將數(shù)據(jù)模型轉(zhuǎn)化為企業(yè)數(shù)據(jù)資產(chǎn)。相比于直接抽取技術(shù)元數(shù)據(jù)，數(shù)據(jù)資產(chǎn)化模型一方面大大提升了數(shù)據(jù)的質(zhì)量，另一方面增加了數(shù)據(jù)間的關(guān)系，以及各類數(shù)據(jù)背后的業(yè)務(wù)定義，使得數(shù)據(jù)信息更加全面和系統(tǒng)。

三、大型企業(yè)實踐案例

1、企業(yè)數(shù)據(jù)架構(gòu)——制造業(yè)概念模型

以制造業(yè)為例，下圖呈現(xiàn)了制造業(yè)高階概念模型，涉及管理類、運營類、支持類等業(yè)務(wù)板塊。

2、建立企業(yè)數(shù)據(jù)架構(gòu)-開發(fā)路線圖——主題域模型

將上述業(yè)務(wù)板塊轉(zhuǎn)化為高階的主題域模型。以汽車廠為例，首先是進(jìn)行產(chǎn)品研發(fā)，輸出產(chǎn)品部品即 BOM 清單；基于 BOM 清單進(jìn)行裝配、生產(chǎn)，并關(guān)聯(lián)銷售清單；同時 BOM 也會關(guān)聯(lián)銷售項目管理，最終和客戶管理、訂單管理、銷售管理、財務(wù)管理等一系列數(shù)據(jù)進(jìn)行多重關(guān)聯(lián)，構(gòu)建出高階主題域模型。

3、業(yè)務(wù)現(xiàn)狀

（1）業(yè)務(wù)現(xiàn)狀梳理：成果（1）L1-L3 高階流程架構(gòu)

將上述主題域模型進(jìn)一步細(xì)化，以采購部為例，基于采購部組織職能定位，與業(yè)務(wù)訪談輸入，全面梳理采購域所包含高階業(yè)務(wù)架構(gòu)。

① L1 Category 域：企業(yè)業(yè)務(wù)的最高級別，可基于業(yè)務(wù)能力或端到端場景定義。 

② L2 Process Group 流程組：企業(yè)一級域的下級能力或流程集合。

③ L3 Process 流程：一系列將輸入轉(zhuǎn)化為輸出的相互關(guān)聯(lián)的活動。流程消耗資源并且需要制定可重復(fù)執(zhí)行的標(biāo)準(zhǔn)；流程需要遵從一個面向質(zhì)量、速度、成本績效要求的控制體系。 

（2）業(yè)務(wù)現(xiàn)狀梳理：成果（2）L1-L3 業(yè)務(wù)側(cè)數(shù)據(jù)目錄

基于采購部門職能，梳理采購域不同信息域下所包含標(biāo)準(zhǔn)化業(yè)務(wù)信息/表單，將其轉(zhuǎn)化為業(yè)務(wù)側(cè)的數(shù)據(jù)資產(chǎn)目錄，支持?jǐn)?shù)據(jù)認(rèn)責(zé)工作。

（3）業(yè)務(wù)現(xiàn)狀梳理：成果（3）L1-L3 業(yè)務(wù)全景圖

基于采購業(yè)務(wù)價值鏈，繪制業(yè)務(wù)信息流圖：以端到端視角審視采購業(yè)務(wù)全貌，識別業(yè)務(wù)信息來龍去脈。

4、數(shù)據(jù)資產(chǎn)

（1）數(shù)據(jù)資產(chǎn)梳理：成果 – 數(shù)據(jù)目錄（L1-L5 資產(chǎn)清單）

以上圖所示數(shù)據(jù)資產(chǎn)目錄為例，分成主題域組、主題域、業(yè)務(wù)對象、數(shù)據(jù)實體、屬性 5級；每增加一個層級，可理解成添加一個的葉子節(jié)點。

5、標(biāo)準(zhǔn)

（1）數(shù)據(jù)標(biāo)準(zhǔn)制定：成果 – 數(shù)據(jù)標(biāo)準(zhǔn)（L5 屬性標(biāo)準(zhǔn)）

對于數(shù)據(jù)目錄中 L5 層屬性的標(biāo)準(zhǔn)化定義，通過補(bǔ)全數(shù)據(jù)的業(yè)務(wù)屬性（名稱、業(yè)務(wù)規(guī)則等）、技術(shù)屬性（數(shù)據(jù)類型、長度等）以及管理屬性（數(shù)據(jù)維護(hù)責(zé)任人、數(shù)據(jù)管家等），最終形成數(shù)據(jù)標(biāo)準(zhǔn)。

6、數(shù)據(jù)模型

基于數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建數(shù)據(jù)模型。上圖為采購域的數(shù)據(jù)模型，模型中的每個字段都與數(shù)據(jù)標(biāo)準(zhǔn)形成了映射關(guān)系。

（1）數(shù)據(jù)模型設(shè)計：ONE ID 邏輯設(shè)計

基于上述數(shù)據(jù)模型，結(jié)合實際業(yè)務(wù)構(gòu)建數(shù)據(jù)應(yīng)用。以采購域為例，對每個供應(yīng)商進(jìn)行全方位畫像，包括財務(wù)信息、經(jīng)營狀態(tài)、業(yè)務(wù)信息等維度，構(gòu)成一套供應(yīng)鏈金融的服務(wù)模式。

（2）數(shù)據(jù)模型是數(shù)據(jù)中臺的核心位置

數(shù)據(jù)模型是數(shù)據(jù)中臺的核心數(shù)據(jù)資產(chǎn)，關(guān)系到基礎(chǔ)數(shù)據(jù)整合，開發(fā)效率，和數(shù)據(jù)質(zhì)量。數(shù)據(jù)中臺主要包括 ODS 層、DWS/DWD 層，以及數(shù)據(jù)集市層等，這些中間層模型設(shè)計的規(guī)范性和靈活性，決定了數(shù)據(jù)資產(chǎn)的管理和應(yīng)用效率。因此，如何整合好數(shù)據(jù)模型是數(shù)據(jù)中臺成功的標(biāo)志。

（3）全面管理和升級模型數(shù)據(jù)資產(chǎn)

傳統(tǒng)的數(shù)據(jù)模型構(gòu)建，往往是開發(fā)人員基于業(yè)務(wù)邏輯通過 SQL 腳本實現(xiàn)相應(yīng)功能，并轉(zhuǎn)化成存儲過程，進(jìn)而通過任務(wù)調(diào)度實現(xiàn)數(shù)據(jù)的轉(zhuǎn)化。這種方式靈活、便于實現(xiàn)，然而會給后續(xù)的數(shù)據(jù)資產(chǎn)梳理、數(shù)據(jù)質(zhì)量排查以及數(shù)據(jù)修復(fù)等相關(guān)工作帶來麻煩。

因此，以數(shù)據(jù)模型為核心，通過對數(shù)據(jù)中臺模型的管理，實現(xiàn)從孤井式的代碼開發(fā)，到模型驅(qū)動的代碼開發(fā)階段的轉(zhuǎn)變。實現(xiàn)了模型驅(qū)動的數(shù)據(jù)模型資產(chǎn)化，開發(fā)過程可審查，代碼質(zhì)量可靠性等轉(zhuǎn)變，使中臺成為企業(yè)數(shù)據(jù)資產(chǎn)的沉淀和發(fā)布中心，進(jìn)而形成行業(yè)模型的影響力。 

（4）一體化建模架構(gòu)

從數(shù)據(jù)戰(zhàn)略角度看，將業(yè)務(wù)流程、業(yè)務(wù)架構(gòu)、數(shù)據(jù)責(zé)任、數(shù)據(jù)安全和入戶標(biāo)準(zhǔn)等相關(guān)模塊都承載到業(yè)務(wù)模型上；進(jìn)一步，業(yè)務(wù)模型通過數(shù)據(jù)模型落地實現(xiàn)，結(jié)合相應(yīng)的企業(yè)標(biāo)準(zhǔn)進(jìn)行模型評審，評審?fù)ㄟ^的數(shù)據(jù)模型發(fā)布成數(shù)據(jù)資產(chǎn)目錄，并最終進(jìn)入數(shù)據(jù)湖。

由于數(shù)據(jù)模型存在迭代更新的周期性，因此在模型設(shè)計的過程中，數(shù)據(jù)標(biāo)準(zhǔn)的維護(hù)至關(guān)重要。所有的模型都是由數(shù)據(jù)標(biāo)準(zhǔn)組裝而來；模型評審和模型發(fā)布作為重要的中間管控節(jié)點，最終實現(xiàn)自助入湖，并周期性地和生產(chǎn)元數(shù)據(jù)做比對。

（5）企業(yè)級信息架構(gòu)的四個組件

企業(yè)級信息架構(gòu)，本質(zhì)上是基于一套核心的信息架構(gòu)，展現(xiàn)成數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)分布 4 種不同的形式：

① 數(shù)據(jù)資產(chǎn)目錄

1）通過分層架構(gòu)表達(dá)。

2）對數(shù)據(jù)的分類和定義。

3）厘清數(shù)據(jù)資產(chǎn)。

4）建立數(shù)據(jù)模型的輸入 。

② 數(shù)據(jù)標(biāo)準(zhǔn)

1）業(yè)務(wù)定義的規(guī)范。

2）統(tǒng)一語言，消除歧義。

3）為數(shù)據(jù)資產(chǎn)梳理提供標(biāo)準(zhǔn)的業(yè)務(wù)含義和規(guī)則。

③ 數(shù)據(jù)模型

1）通過 E-R 建模實現(xiàn)對數(shù)據(jù)及其關(guān)系的描述。

2）指導(dǎo) IT 開發(fā)，是應(yīng)用系統(tǒng)實現(xiàn)的基礎(chǔ)。

④ 數(shù)據(jù)分布

1）數(shù)據(jù)在業(yè)務(wù)流程和 IT 系統(tǒng)上流動的全景視圖。

2）識別數(shù)據(jù)的“來龍去脈” 。

3）定位數(shù)據(jù)問題的導(dǎo)航。

這套核心的信息架構(gòu)本質(zhì)上是從 4 個角度詮釋企業(yè)的數(shù)據(jù)資產(chǎn)信息：

數(shù)據(jù)模型作為最初的設(shè)計原型，經(jīng)過評審發(fā)布后形成數(shù)據(jù)資產(chǎn)目錄最終開放到業(yè)務(wù)部門；模型內(nèi)部最細(xì)顆粒度的規(guī)范形成數(shù)據(jù)標(biāo)準(zhǔn)；數(shù)據(jù)分布則體現(xiàn)的是某個具體的表或字段在整個業(yè)務(wù)流程體系中所處的位置，定位到對應(yīng)的具體業(yè)務(wù)對象并直觀地體現(xiàn)該業(yè)務(wù)對象的上下游關(guān)系。

（6）六項入湖標(biāo)準(zhǔn)

數(shù)據(jù)入湖的評審標(biāo)準(zhǔn)，大概包括以下這 6 個方面：

① 明確數(shù)據(jù) Owner 

由數(shù)據(jù)產(chǎn)生對應(yīng)的流程 Owner 擔(dān)任，是所轄數(shù)據(jù)端到端管理的責(zé)任人，負(fù)責(zé)對入湖的數(shù)據(jù)定義數(shù)據(jù)標(biāo)準(zhǔn)和密級，承接數(shù)據(jù)消費中的數(shù)據(jù)質(zhì)量問題，并制定數(shù)據(jù)管理工作路標(biāo)，持續(xù)提升數(shù)據(jù)質(zhì)量 

② 發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)

入湖數(shù)據(jù)要有相應(yīng)的業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)。業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)描述公司層面需共同遵守的“屬性層”數(shù)據(jù)的含義和業(yè)務(wù)規(guī)則，是公司層面對某個數(shù)據(jù)的共同理解，這些理解一旦明確并發(fā)布，就需要作為標(biāo)準(zhǔn)在企業(yè)內(nèi)被共同遵守。

③ 認(rèn)證數(shù)據(jù)源 

通過認(rèn)證數(shù)據(jù)源，能夠確保數(shù)據(jù)從正確的數(shù)據(jù)源頭入湖。認(rèn)證數(shù)據(jù)源應(yīng)遵循公司數(shù)據(jù)源管理的要求，一般數(shù)據(jù)源是指業(yè)務(wù)上首次正式發(fā)布某項數(shù)據(jù)的應(yīng)用系統(tǒng)，并經(jīng)過數(shù)據(jù)管理專業(yè)組織認(rèn)證。認(rèn)證過的數(shù)據(jù)源作為唯一數(shù)據(jù)源頭被數(shù)據(jù)湖調(diào)用。當(dāng)承載數(shù)據(jù)源的應(yīng)用系統(tǒng)出現(xiàn)合并、分拆、下線情況時，應(yīng)及時對數(shù)據(jù)源進(jìn)行失效處理，并啟動新數(shù)據(jù)源認(rèn)證流程。

④ 定義數(shù)據(jù)密級

定義數(shù)據(jù)密級是數(shù)據(jù)入湖的必要條件，為了確保數(shù)據(jù)湖中的數(shù)據(jù)能充分地共享，同時又不發(fā)生信息安全問題，入湖的數(shù)據(jù)必須要定密。數(shù)據(jù)定密的責(zé)任主體是數(shù)據(jù) Owner，數(shù)據(jù)管家有責(zé)任審視入湖數(shù)據(jù)密級的完整性，并推動、協(xié)調(diào)數(shù)據(jù)定密工作。數(shù)據(jù)定級密度在屬性層級，根據(jù)資產(chǎn)的重要程度，定義不同等級。不同密級的數(shù)據(jù)有相應(yīng)的數(shù)據(jù)消費要求，為了促進(jìn)公司數(shù)據(jù)的消費，數(shù)據(jù)湖中的數(shù)據(jù)有相應(yīng)的降密機(jī)制，到降密期或滿足降密條件的數(shù)據(jù)應(yīng)及時降密，并刷新密級信息。

⑤ 制定數(shù)據(jù)質(zhì)量方案 

數(shù)據(jù)質(zhì)量是數(shù)據(jù)消費結(jié)果的保證，數(shù)據(jù)入湖不需要對數(shù)據(jù)進(jìn)行清洗，但需要對數(shù)據(jù)質(zhì)量進(jìn)行評估，讓數(shù)據(jù)的消費人員了解數(shù)據(jù)的質(zhì)量情況，并了解消費該數(shù)據(jù)的質(zhì)量風(fēng)險。同時數(shù)據(jù) Owner 和數(shù)據(jù)管家可以根據(jù)數(shù)據(jù)質(zhì)量評估的情況，推動源頭數(shù)據(jù)質(zhì)量的提升，滿足數(shù)據(jù)質(zhì)量的消費要求。

⑥ 注冊元數(shù)據(jù)

元數(shù)據(jù)注冊是指將入湖數(shù)據(jù)的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)進(jìn)行關(guān)聯(lián)，包括邏輯實體與物理表的對應(yīng)關(guān)系，以及業(yè)務(wù)屬性和表字段的對應(yīng)關(guān)系。通過連接業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的關(guān)系，能夠支撐數(shù)據(jù)消費人員通過業(yè)務(wù)語義快速地搜索到數(shù)據(jù)湖中的數(shù)據(jù)，降低數(shù)據(jù)湖中數(shù)據(jù)消費的門檻，能讓更多的業(yè)務(wù)分析人員理解和消費數(shù)據(jù)。

（7）數(shù)據(jù)模型管控組織

從公司部門的組織架構(gòu)角度考慮，數(shù)據(jù)模型管控的推進(jìn)，需要配備相應(yīng)的組織架構(gòu)予以監(jiān)督和支持。一方面，基于 DAMA 方法論，企業(yè)構(gòu)建不同的數(shù)據(jù)治理體系維度，如數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)目錄等相關(guān)內(nèi)容；另一方面，基于傳統(tǒng)的 IT 相關(guān)部門下屬的各個項目小組，建議安排部分開發(fā)人員以 part-time 的方式承擔(dān)部分?jǐn)?shù)據(jù)治理角色，使得數(shù)據(jù)治理架構(gòu)更加立體。此外，可以專門成立企業(yè)架構(gòu)辦（一般包括數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)、技術(shù)架構(gòu)、業(yè)務(wù)架構(gòu)這 4 層架構(gòu)），與項目組聯(lián)合，實現(xiàn)更全面、更深入的數(shù)據(jù)模型管理服務(wù)。

因此，建立虛實結(jié)合的數(shù)據(jù)組織設(shè)置，是確保數(shù)工作能充分融入業(yè)務(wù)，同時能夠在應(yīng)用系統(tǒng)中有效落地的關(guān)鍵。

以交通銀行為例，企業(yè)共計超過 500 套業(yè)務(wù)系統(tǒng)，全部通過上述組織架構(gòu)協(xié)作實現(xiàn)模型管控。

四、問答環(huán)節(jié)

Q1：按照全套組合架構(gòu)實現(xiàn)企業(yè)級數(shù)據(jù)治理，往往會帶來較高的時間成本；因此，如何平衡數(shù)據(jù)治理和開發(fā)效率？

A1：① 數(shù)據(jù)治理架構(gòu)的開展，需要一定的契機(jī)；可以以企業(yè)新構(gòu)建的系統(tǒng)作為試點；尤其是金融系統(tǒng)，往往 5 年左右進(jìn)行一次更新?lián)Q代。因此，可以選擇合適的系統(tǒng)更新?lián)Q代節(jié)點，推進(jìn)數(shù)據(jù)治理架構(gòu)。

② 如果企業(yè)的數(shù)據(jù)資產(chǎn)需求較為強(qiáng)烈和迫切，那么源端管控就是必要的工作。在此基礎(chǔ)上，可以先針對部分部門或項目組，通過小范圍試點方式進(jìn)行推進(jìn)，后期再逐步進(jìn)行大范圍推廣。此外，可借助一些更高效的工具以提高開發(fā)效率。

Q2：主數(shù)據(jù)在數(shù)據(jù)模型中如何體現(xiàn)？

A2：這類問題在業(yè)內(nèi)曾引起廣泛的討論。對于金融行業(yè)，客戶管理系統(tǒng)即是客戶的主數(shù)據(jù)；對于業(yè)務(wù)鏈條較長的企業(yè)，例如制造業(yè)企業(yè)，常用的方式是針對主數(shù)據(jù)進(jìn)行模型建模。而對于主數(shù)據(jù)建模，較為傳統(tǒng)的方式是開發(fā)相應(yīng)的 MDM（主數(shù)據(jù)關(guān)系系統(tǒng)），典型的企業(yè)實踐案例是中石油系統(tǒng)；然而 MDM 系統(tǒng)較為龐大，因此近年來主數(shù)據(jù)建模的趨勢是更加輕量化，通常是在各個系統(tǒng)（如組織機(jī)構(gòu)、客戶、物料、產(chǎn)品等系統(tǒng)）對應(yīng)的數(shù)據(jù)庫中預(yù)留少量區(qū)域來存儲對應(yīng)的主數(shù)據(jù)模型，實現(xiàn)該系統(tǒng)主數(shù)據(jù)模型與各個系統(tǒng)的對接?？傊?，核心在于主數(shù)據(jù)模型的構(gòu)建，輕量化是趨勢。

Q3：數(shù)據(jù)質(zhì)量和數(shù)據(jù)標(biāo)準(zhǔn)該如何解決？

A3：如果企業(yè)的模型設(shè)計已經(jīng)落標(biāo)，質(zhì)量管理這部分工作相對會容易很多；由于每個物理字段對應(yīng)的標(biāo)準(zhǔn)已經(jīng)確定，因此基礎(chǔ)的數(shù)據(jù)質(zhì)量檢測規(guī)則往往可以自動生成，而復(fù)雜的數(shù)據(jù)質(zhì)量檢測規(guī)則和數(shù)據(jù)標(biāo)準(zhǔn)中的認(rèn)責(zé)板塊掛鉤，相應(yīng)部門提供各自的數(shù)據(jù)質(zhì)量檢測相關(guān)的業(yè)務(wù)規(guī)則，最后再由業(yè)務(wù)規(guī)則轉(zhuǎn)成技術(shù)規(guī)則，嵌入到系統(tǒng)中進(jìn)行周期性運行。