[[439157]]

一、數(shù)據(jù)元

1. 名詞解釋

國(guó)標(biāo)[GB/T 18391.1—2002]對(duì)數(shù)據(jù)元的定義為：“用一組屬性描述定義、標(biāo)識(shí)、表示和允許值的數(shù)據(jù)單元。”

數(shù)據(jù)元由三部分組成：對(duì)象、特性和表示。數(shù)據(jù)元是組成實(shí)體數(shù)據(jù)的最小單元，或稱(chēng)原子數(shù)據(jù)。例如個(gè)人信息中，手機(jī)號(hào)為數(shù)據(jù)元，“135********”為數(shù)據(jù)元的值;性別為數(shù)據(jù)元，“男”和“女”為數(shù)據(jù)元的值。

2. 主要作用

作為最小顆粒度的數(shù)據(jù)，數(shù)據(jù)元是對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化定義的基礎(chǔ)，也是構(gòu)建統(tǒng)一、集成、穩(wěn)定的行業(yè)數(shù)據(jù)模型的基礎(chǔ)。

在企業(yè)數(shù)據(jù)治理中，數(shù)據(jù)元是需要標(biāo)準(zhǔn)化的對(duì)象，一個(gè)數(shù)據(jù)元對(duì)象有且只有一個(gè)數(shù)據(jù)特性，每個(gè)數(shù)據(jù)特性對(duì)應(yīng)一個(gè)數(shù)據(jù)表示。例如：人員的性別中的“男”是一個(gè)數(shù)據(jù)元對(duì)象，用數(shù)字“1”來(lái)表示。

3. 應(yīng)用舉例

數(shù)據(jù)元早期在金融、醫(yī)療等領(lǐng)域應(yīng)用非常廣泛，國(guó)家相關(guān)單位發(fā)布了關(guān)于數(shù)據(jù)元管理的一系列技術(shù)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，如《CFDAB/T 0301.3—2014食品藥品監(jiān)管信息基礎(chǔ)數(shù)據(jù)元 第3部分：藥品》。圖1-1所示為食品藥品監(jiān)管信息基礎(chǔ)數(shù)據(jù)元標(biāo)準(zhǔn)。

▲圖1-1 食品藥品監(jiān)管信息基礎(chǔ)數(shù)據(jù)元標(biāo)準(zhǔn)

二、元數(shù)據(jù)

1. 名詞解釋

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)或關(guān)于數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)。

你是不是看了這個(gè)定義依然一頭霧水?那我們來(lái)舉個(gè)例子。一本書(shū)的封面和目錄向我們展示了這樣的元數(shù)據(jù)信息：圖書(shū)名稱(chēng)、作者姓名、出版商和版權(quán)細(xì)節(jié)、圖書(shū)的提綱、標(biāo)題、頁(yè)碼等。

2. 主要作用

在數(shù)據(jù)治理中，元數(shù)據(jù)是對(duì)數(shù)據(jù)的描述，存儲(chǔ)著數(shù)據(jù)的描述信息。我們可以通過(guò)元數(shù)據(jù)管理和檢索我們想要的“書(shū)”。可見(jiàn)元數(shù)據(jù)是用來(lái)描述數(shù)據(jù)的數(shù)據(jù)，讓數(shù)據(jù)更容易理解、查找、管理和使用。

3. 應(yīng)用舉例

元數(shù)據(jù)是業(yè)界公認(rèn)的數(shù)據(jù)治理中的核心要素，做好元數(shù)據(jù)管理，能夠更容易地對(duì)數(shù)據(jù)進(jìn)行檢索、定位、管理和評(píng)估。用哲學(xué)的思維理解元數(shù)據(jù)的話，元數(shù)據(jù)其實(shí)解決的是我是誰(shuí)、我在哪里、我從哪里來(lái)、我要到哪里去的問(wèn)題。

元數(shù)據(jù)是建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)，是構(gòu)建企業(yè)數(shù)據(jù)資源全景視圖的基礎(chǔ)，清晰的血緣分析、影響分析、差異分析、關(guān)聯(lián)分析、指標(biāo)一致性分析等是數(shù)據(jù)資產(chǎn)管理的重要一環(huán)。

如果說(shuō)數(shù)據(jù)是物料，那么元數(shù)據(jù)就是倉(cāng)庫(kù)里的物料卡片;如果說(shuō)數(shù)據(jù)是文件夾，那么元數(shù)據(jù)就是夾子的標(biāo)簽;如果說(shuō)數(shù)據(jù)是書(shū)，那么元數(shù)據(jù)就是圖書(shū)館中的圖書(shū)卡。

三、主數(shù)據(jù)

1. 名詞解釋

主數(shù)據(jù)是企業(yè)內(nèi)需要在多個(gè)部門(mén)、多個(gè)信息系統(tǒng)之間共享的數(shù)據(jù)，如客戶(hù)、供應(yīng)商、組織、人員、項(xiàng)目、物料等。與記錄業(yè)務(wù)活動(dòng)、波動(dòng)較大的交易數(shù)據(jù)相比，主數(shù)據(jù)(也稱(chēng)“基準(zhǔn)數(shù)據(jù)”)變化較慢。主數(shù)據(jù)是企業(yè)開(kāi)展業(yè)務(wù)的基礎(chǔ)，只有得到正確維護(hù)，才能保證業(yè)務(wù)系統(tǒng)的參照完整性。

主數(shù)據(jù)具有3大特性、4個(gè)超越。

3大特性：高價(jià)值性、高共享性、相對(duì)穩(wěn)定性。

4個(gè)超越：超越業(yè)務(wù)，超越部門(mén)，超越系統(tǒng)，超越技術(shù)。

2. 主要作用

在數(shù)據(jù)治理中，主數(shù)據(jù)用來(lái)解決企業(yè)異構(gòu)系統(tǒng)之間核心數(shù)據(jù)不一致、不正確、不完整等問(wèn)題。主數(shù)據(jù)是信息系統(tǒng)建設(shè)和大數(shù)據(jù)分析的基礎(chǔ)，被認(rèn)為是企業(yè)數(shù)字化轉(zhuǎn)型的基石。

3. 應(yīng)用舉例

不同行業(yè)、不同領(lǐng)域的主數(shù)據(jù)的內(nèi)容不同。例如：在制造型企業(yè)中，核心主數(shù)據(jù)有物料、BOM、設(shè)備、客戶(hù)、供應(yīng)商、人員等;在金融行業(yè)中，客戶(hù)、客戶(hù)關(guān)系是主數(shù)據(jù)管理的核心;在政府各部門(mén)，人口、法人、證照等是主要的主數(shù)據(jù)。

四、業(yè)務(wù)數(shù)據(jù)

1. 名詞解釋

業(yè)務(wù)數(shù)據(jù)是業(yè)務(wù)活動(dòng)過(guò)程或系統(tǒng)自動(dòng)產(chǎn)生的既定事實(shí)的數(shù)據(jù)，也稱(chēng)交易數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)來(lái)自三個(gè)方面。

第一，業(yè)務(wù)交易過(guò)程中產(chǎn)生的數(shù)據(jù)，例如計(jì)劃單、銷(xiāo)售單、生產(chǎn)單、采購(gòu)單等，這類(lèi)數(shù)據(jù)多數(shù)是手動(dòng)生成的。

第二，系統(tǒng)產(chǎn)生的數(shù)據(jù)，包括硬件運(yùn)行狀況、軟件運(yùn)行狀況、資源消耗狀況、應(yīng)用使用狀況、接口調(diào)用狀況、服務(wù)健康狀況等。

第三，自動(dòng)化設(shè)備所產(chǎn)生的數(shù)據(jù)，如各類(lèi)物聯(lián)網(wǎng)設(shè)備的運(yùn)行數(shù)據(jù)、生產(chǎn)采集數(shù)據(jù)等。

不論源自何處，業(yè)務(wù)數(shù)據(jù)的共同特點(diǎn)是：時(shí)效性強(qiáng)，數(shù)據(jù)量大。

2. 主要作用

業(yè)務(wù)數(shù)據(jù)主要面向應(yīng)用，為業(yè)務(wù)應(yīng)用提供服務(wù)，例如生產(chǎn)、銷(xiāo)售、采購(gòu)、設(shè)備管理、系統(tǒng)管理等。

3. 應(yīng)用舉例

表1-1是某企業(yè)的產(chǎn)品銷(xiāo)售記錄，這是一種非常重要的業(yè)務(wù)數(shù)據(jù)。

▼表1-1 某企業(yè)的產(chǎn)品銷(xiāo)售記錄

五、主題數(shù)據(jù)

1. 名詞解釋

主題數(shù)據(jù)是根據(jù)數(shù)據(jù)分析的需要，按照業(yè)務(wù)主題對(duì)數(shù)據(jù)所做的一種組織和管理方式，其本質(zhì)是為了進(jìn)行面向主題的分析或加速主題應(yīng)用的數(shù)據(jù)。

主題數(shù)據(jù)是分析型數(shù)據(jù)，是按照一定的業(yè)務(wù)主題域組織的，服務(wù)于人們?cè)跊Q策時(shí)所關(guān)心的重點(diǎn)方面。一個(gè)主題數(shù)據(jù)可以由多個(gè)主數(shù)據(jù)和交易數(shù)據(jù)組成。主題數(shù)據(jù)一般是匯總的、不可更新的、用于讀的數(shù)據(jù)。

2. 主要作用

主題數(shù)據(jù)是按照一定的業(yè)務(wù)主題域組織的，服務(wù)于各種數(shù)據(jù)分析或應(yīng)用開(kāi)發(fā)。

3. 應(yīng)用舉例

主題數(shù)據(jù)與行業(yè)或領(lǐng)域有較大的關(guān)系，不同行業(yè)關(guān)注的主題是不一樣的。即使是同一行業(yè)，不同企業(yè)也有不同的主題數(shù)據(jù)定義。

例如，某生產(chǎn)制造企業(yè)定義了12大主題數(shù)據(jù)，包括綜合服務(wù)、人力資源、財(cái)務(wù)管理、質(zhì)量管理、生產(chǎn)管理、工藝管理、庫(kù)存管理、銷(xiāo)售管理、采購(gòu)管理、設(shè)備管理、能源管理和安全環(huán)保。

六、數(shù)據(jù)倉(cāng)庫(kù)

1. 名詞解釋

數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse，DW)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)庫(kù)的一種概念上的升級(jí)，可以說(shuō)是為滿足新需求而設(shè)計(jì)的一種新數(shù)據(jù)庫(kù)，需要容納更加龐大的數(shù)據(jù)集。本質(zhì)上，數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)并沒(méi)有什么區(qū)別。

2. 主要作用

數(shù)據(jù)倉(cāng)庫(kù)是為企業(yè)所有級(jí)別的決策制定過(guò)程提供所有類(lèi)型數(shù)據(jù)支撐的戰(zhàn)略集合，有以下三個(gè)主要作用。

數(shù)據(jù)倉(cāng)庫(kù)是對(duì)企業(yè)數(shù)據(jù)的匯聚和集成，數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)來(lái)源于不同的業(yè)務(wù)處理系統(tǒng)，包含主數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)的作用就是幫助我們利用這些寶貴的數(shù)據(jù)做出最明智的商業(yè)決策。

數(shù)據(jù)倉(cāng)庫(kù)支持多維分析。多維分析通過(guò)把一個(gè)實(shí)體的屬性定義成維度，使用戶(hù)能方便地從多個(gè)維度匯總、計(jì)算數(shù)據(jù)，增強(qiáng)了用戶(hù)的數(shù)據(jù)分析處理能力，而通過(guò)對(duì)不同維度數(shù)據(jù)的比較和分析，用戶(hù)的數(shù)據(jù)處理能力得到進(jìn)一步增強(qiáng)。

數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)挖掘技術(shù)的關(guān)鍵和基礎(chǔ)。數(shù)據(jù)挖掘技術(shù)是在已有數(shù)據(jù)的基礎(chǔ)上，幫助用戶(hù)理解現(xiàn)有的信息，并對(duì)未來(lái)的企業(yè)狀況做出預(yù)測(cè)。在數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上進(jìn)行數(shù)據(jù)挖掘，可以對(duì)整個(gè)企業(yè)的發(fā)展?fàn)顩r和未來(lái)前景做出較為完整、合理、準(zhǔn)確的分析和預(yù)測(cè)。

3. 應(yīng)用舉例

數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)分析和數(shù)據(jù)可視化的基礎(chǔ)，通過(guò)將來(lái)自不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)匯集到一起，并按照一定的主題進(jìn)行編號(hào)、歸類(lèi)、分組，方便用戶(hù)快速定位數(shù)據(jù)源，為數(shù)據(jù)分析提供支撐。

為了提升數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)分析的準(zhǔn)確性，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)需要實(shí)施數(shù)據(jù)治理的策略。很多企業(yè)的數(shù)據(jù)治理項(xiàng)目實(shí)施的動(dòng)因都是解決數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)質(zhì)量問(wèn)題，以便獲得更準(zhǔn)確的分析決策。

七、數(shù)據(jù)湖

1. 名詞解釋

根據(jù)維基百科的定義，數(shù)據(jù)湖是一個(gè)以原始格式存儲(chǔ)數(shù)據(jù)的存儲(chǔ)庫(kù)或系統(tǒng)。它按原樣存儲(chǔ)數(shù)據(jù)，而無(wú)須事先對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。數(shù)據(jù)湖可以存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫(kù)中的表)、半結(jié)構(gòu)化數(shù)據(jù)(如CSV、日志、XML、JSON)、非結(jié)構(gòu)化數(shù)據(jù)(如電子郵件、文檔、PDF)和二進(jìn)制數(shù)據(jù)(如圖形、音頻、視頻)。

數(shù)據(jù)湖可以更方便、以更低的成本解決不同數(shù)據(jù)結(jié)構(gòu)的統(tǒng)一存儲(chǔ)問(wèn)題，同時(shí)還能夠?yàn)闄C(jī)器學(xué)習(xí)提供全局?jǐn)?shù)據(jù)。我們可以將數(shù)據(jù)湖理解為一個(gè)融合了大數(shù)據(jù)集成、存儲(chǔ)、處理、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘的解決方案。

2. 主要作用

關(guān)于數(shù)據(jù)湖的作用，AWS將它與數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行了類(lèi)比，如表1-2所示。

▼表1-2 來(lái)自AWS的數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的對(duì)比

3. 應(yīng)用舉例

數(shù)據(jù)湖不是一個(gè)產(chǎn)品或工具，它是融合了數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)和工具的解決方案。數(shù)據(jù)湖支持處理不同類(lèi)型的數(shù)據(jù)和分析方法，以獲得更深層次的洞見(jiàn)所必需的擴(kuò)展性、敏捷性和靈活性。亞馬遜AWS、Informatica、阿里云、華為云、用友等都推出了數(shù)據(jù)湖解決方案。

數(shù)據(jù)湖的出現(xiàn)給數(shù)據(jù)治理帶來(lái)了一定的挑戰(zhàn)。數(shù)據(jù)湖將數(shù)據(jù)全部集中存儲(chǔ)，那數(shù)據(jù)治理是在“湖中”治理還是在“湖外”治理，這是個(gè)需要企業(yè)研究和探索的問(wèn)題。

關(guān)于作者：羅小江，用友集團(tuán)助理總裁、平臺(tái)和數(shù)據(jù)智能事業(yè)部總經(jīng)理、北京軟件和信息服務(wù)業(yè)協(xié)會(huì)云計(jì)算專(zhuān)委會(huì)副會(huì)長(zhǎng)、中國(guó)企業(yè)財(cái)務(wù)管理協(xié)會(huì)企業(yè)風(fēng)險(xiǎn)管控專(zhuān)業(yè)委員會(huì)副主任委員。專(zhuān)注于企業(yè)數(shù)字化平臺(tái)技術(shù)應(yīng)用研究，具有企業(yè)管理、IT等復(fù)合知識(shí)，并且有豐富的實(shí)施交付經(jīng)驗(yàn)，主導(dǎo)過(guò)多個(gè)千萬(wàn)級(jí)項(xiàng)目的規(guī)劃及設(shè)計(jì)工作。

石秀峰，用友集團(tuán)數(shù)據(jù)治理專(zhuān)家、中國(guó)電子商會(huì)數(shù)據(jù)資源服務(wù)創(chuàng)新專(zhuān)業(yè)委員會(huì)受聘專(zhuān)家、數(shù)據(jù)質(zhì)量管理智庫(kù)(DQPro)受聘專(zhuān)家。深耕數(shù)據(jù)領(lǐng)域十余年，曾主導(dǎo)過(guò)多家大型集團(tuán)的數(shù)據(jù)治理、數(shù)據(jù)集成等項(xiàng)目的咨詢(xún)和落地。

本文摘編自《一本書(shū)講透數(shù)據(jù)治理：戰(zhàn)略、方法、工具與實(shí)踐》，經(jīng)出版方授權(quán)發(fā)布。(ISBN：9787111694489)