[[322322]]

正如大家所知，大數據建設的目標是為了融合組織數據，增加組織的洞察力和競爭力，實現(xiàn)業(yè)務創(chuàng)新和產業(yè)升級。而提高數據質量是為了鞏固大數據建設成果，解決大數據建設成果不能滿足業(yè)務要求的問題。并且，數據質量問題不僅僅是一個技術問題，它也可能出現(xiàn)在業(yè)務和管理的過程中。所以，要想提高數據質量，就必須懂行業(yè)、懂組織、懂業(yè)務。當然，正如“數據博士”Jim barker 所說，我們可以簡單地通過引入一些工具和規(guī)則就可以解決 80% 的問題，也可以引入一個復雜的系統(tǒng)工程來解決 100% 的質量問題，取決于我們希望達到什么樣的質量標準。

借此機會，我也很期待各位朋友能夠與我們分享你遇到的數據質量問題、故事和解決方法，這將對我們的研究和研發(fā)工作帶來莫大的幫助。

為了盡量說清楚數據質量問題的來龍去脈和解決方法，篇幅較長，我將它分為以下幾個部分：

1. 大數據行業(yè)背景和現(xiàn)狀
2. 大數據行業(yè)發(fā)展過程中出現(xiàn)的問題
3. 國家標準中的數據質量評價指標
4. 數據質量出現(xiàn)的原因
5. 解決數據質量問題的思路

1.大數據行業(yè)背景和現(xiàn)狀

2014 年大數據被寫入政府工作報告，成為大數據政策元年，大數據開始成為熱點；2015 年國務院印發(fā)《促進大數據發(fā)展的行動綱要》，國家層面開始“大數據”頂層設計；2016 年工信部發(fā)布《大數據產業(yè)發(fā)展規(guī)劃（2016 年 -2020 年）》，大數據上升為國家戰(zhàn)略；2019 年政府工作報告提出加強新一代信息基礎設施建設（新基建），我們也逐步從“數據大國”邁向“數據強國”。

根據華為公司在 2019 年對其自身客戶關于數字化轉型的一項調查，只有 5% 的企業(yè)處于觀望，31% 的企業(yè)在規(guī)劃準備，36% 的企業(yè)已經開始先期試點，26% 的企業(yè)已經大規(guī)模推行，數據字化轉型已經進入深水期。這意味著 95% 的企業(yè)已經開始數字化轉弄的工作。

大數據經過 6 年的快速發(fā)展期，已經比較明顯地分為兩個階段，第一階段是大數據歸集、治理和價值探索，第二階段是大數據價值體現(xiàn)。當下，部分政府和企業(yè)已經在第一階段中完成了數據的歸集和治理，大步邁入數據價值體現(xiàn)的第二階段，努力實現(xiàn)組織的業(yè)務創(chuàng)新和產業(yè)升級。

然而，大數據發(fā)展過程中仍然存在不少困難和問題，缺少整體規(guī)劃和實施路徑，缺少高層支持，部門壁壘難以打破，業(yè)務價值體現(xiàn)不足，技術能力不足，等等。就我個人來看，這里最核心的一個問題就是業(yè)務價值體現(xiàn)不足，沒有業(yè)務價值的支撐，就不會有各部門領導的支持，更不會有高層的支持和資金的支持。所以，數字化轉型一定要以價值為導向，在一個“點”上做出實際效果以后再進行“面”上的拓展。

2. 大數據發(fā)展過程中的質量問題

要體現(xiàn)數據價值，前提就是數據質量的保障，質量沒有得到 100% 保證的數據是很難體現(xiàn)出業(yè)務價值的，如果基于這些有問題的數據做決策支持，或做業(yè)務辦理，將會得到災難性的結果，讓領導層和數據使用方對大數據失去信心。

根據哈工大王志宏先生在科技導報發(fā)表的研究表明，如果沒有良好的數據質量，大數據將會對決策產生誤導，甚至產生有害的結果。

• 在數倉建設上，50% 的數據倉庫因數據質量而被取消或延遲。
• 在經濟損失上，數據錯誤每年對美國工業(yè)界造成的經濟損失約占 GDP 的 6%。
• 在醫(yī)療事故上，根據美國醫(yī)療委員會的統(tǒng)計，由于數據錯誤引起的醫(yī)療事故僅在美國每年就導致高達 98000 名患者喪生。
• 在電信產業(yè)上，數據錯誤經常導致故障排除的延誤、多余設備租用和服務費收取錯誤，損害了企業(yè)信譽甚至會因此失去很多用戶。
• 在商業(yè)上，美國零售業(yè)每年僅因標價錯誤就損失 25 億美元。
• 在金融企業(yè)中：因數據質量問題導致的信用卡欺詐失察在 2008 年即造成 48 億美元的損失。

被譽為“數據博士”的 Jim barker，用一個簡單的醫(yī)學概念來定義兩種類型的數據質量問題。

• 第一類數據質量問題是比較簡單而明顯的問題，我們可以使用自動化工具檢測到。
• 第二類數據質量問題是非常隱秘的問題，大家都知道它是存在的，但它看不見摸不著，更處理不了，因為它需要放在特殊情境才能被檢測到。

它們之間的區(qū)別簡而言之可歸納為如下幾點：

• 第一類數據質量問題首先需要“know what”才能來檢測數據的完整性、一致性、唯一性和有效性。這些屬性靠數據質量軟件甚至手動很好地找到。你不需要有很多的背景知識，或者數據分析經驗。只要按照 4 個屬性驗證它的存在，就可以判定它錯誤的。例如，如果我們在性別領域插入一個 3，我們就可以判定它到底是不是一個有效值。
• 第二類數據質量問題需要“know why”來檢測時效性、一致性和準確性屬性。需要研究能力、洞察力和經驗，而不是簡簡單單就可以找得出來的。這些數據集經常從表面上看起來沒有問題。但是問題往往存在于細節(jié)中，需要時間去發(fā)現(xiàn)。Jim 舉的例子就是一份退休人員的雇傭記錄，如果我們不知道他們早已退休的話，是看不出來這個數據是錯的。

所以，解決這些數據質量問題的關鍵就是需要一個復雜的、策略化的方法，而非孤立的、片面的來看問題。一旦數據質量不好，我們就需要尋求自動化與人工的雙重方式才能解決這個問題了。

根據 Jim barker 的經驗：

第一類基本涵蓋了 80% 的數據質量問題，但只消耗了我們 20% 的經費成本。

第二類數據問題往往需要多方的輸入，以便發(fā)現(xiàn)、標記和根除。雖然我們客戶關系管理系統(tǒng)中的每個人都有購買日期，但購買日期可能不正確，或者與發(fā)票或發(fā)貨清單不符。只有專家才能通過仔細核查其內容來解決問題并手動改進客戶關系管理系統(tǒng)。

第一類數據質量的挑戰(zhàn)可以快速解決，但第二類問題提出了一個挑戰(zhàn)，必須依靠人類的專業(yè)知識才可以解決。后面會介紹龍石數據的做法，我們可以簡單地通過引入一些工具和規(guī)則就可以解決 80% 的問題，也可以引入一個復雜的系統(tǒng)工程來解決 100% 的質量問題，取決于我們希望達到什么樣的質量標準。

3. 國家標準中的數據質量評價指標

目前為止，最權威的標準是由全國信息技術標準化技術委員會提出的數據質量評價指標（GB/T36344-2018 ICS 35.24.01），它包含以下幾個方面：

規(guī)范性： 指的是數據符合數據標準、數據模型、業(yè)務規(guī)則、元數據或權威參考數據的程度。例如 GB/T 2261.1-2003 中定義的性別代碼標準是 0 表示未知性別，1 表示男，2 表示女，9 表示未說明。GB 11643-1999 中定義的居民身份證編碼規(guī)則是 6 位數字地址碼，8 位數字出生日期碼，三位數字順序碼，一位數字校驗碼。

完整性： 指的是按照數據規(guī)則要求，數據元素被賦予數值的程度。例如互聯(lián)網 + 監(jiān)管主題庫中，監(jiān)管對象為特種設備時，監(jiān)管對象標識必須包含企業(yè)統(tǒng)一社會信用代碼 + 產品品牌 + 設備編碼，監(jiān)管對象為藥品時，監(jiān)管對象標識必須包含藥品名稱 + 批準文號 + 生產批號。

準確性： 指的是數據準確表示其所描述的真實實體（實際對象）真實值的程度。例如互聯(lián)網 + 監(jiān)管行政檢查行為中的行政相對人為公民時，證件類型和證件號碼只能是身份證號碼。

一致性： 指的是數據與其它特定上下文中使用的數據無矛盾的程度。例如許可證信息與法人基礎信息是否一致，檢查計劃與檢查記錄是否匹配。

時效性： 指的是數據在時間變化中的正確程度。例如企業(yè)住址搬遷后，企業(yè)法人庫中的住址是否及時更新了。營業(yè)執(zhí)照已經辦理，許可照辦理時是否可以及時獲取到營業(yè)執(zhí)照信息。

可訪問性： 指的是數據能被訪問的程度。

除此之外，還有一些業(yè)內認可的補充指標，并且在質量工作的實際開展中，可以根據數據的實際情況和業(yè)務要求進行擴展，例如：

唯一性： 描述數據是否存在重復記錄（國標歸在準確性中）。

穩(wěn)定性： 描述數據的波動是否是穩(wěn)定的，是否在其有效范圍內。

可信性： 描述數據來源的權威性、數據的真實性、數據產生的時間近、鮮活度高。

4. 數據質量問題出現(xiàn)的原因

大數據的建設和管理是一個專業(yè)且復雜的工程，涵蓋了業(yè)務梳理、標準制定、元數據管理、數據模型管理、數據匯聚、清洗加工、中心存儲、資源目錄編制、共享交換、數據維護、數據失效等等過程。在任何一個環(huán)節(jié)中出錯，都將導致數據的錯誤。甚至，源頭數據本身就是錯誤的。所以，數據質量問題不僅僅是一個技術問題，它也可能出現(xiàn)在業(yè)務和管理的過程中。

數據質量的技術因素：

• 數據標準制定的質量問題：數據輸入規(guī)范不統(tǒng)一，不同的業(yè)務部門、不同的時間、甚至在處理相同業(yè)務的時候，由于數據輸入規(guī)范不同，造成數據沖突或矛盾。如果在數據的生成過程中包含主觀判斷的結果，必然會導致數據中含有主觀的偏見因素。并且，不是所有行業(yè)都有公認可信的數據標準，而組織標準制定過程中容易出現(xiàn)數據元描述及理解錯誤，代碼碼集定義不正確、不完整等情況。
• 數據模型設計的質量問題：由于對業(yè)務理解的不到位或技術實踐水平不到位，數據庫表結構、數據庫約束條件、數據校驗規(guī)則的設計不合理，造成數據存儲混亂、重復、不完整、不準確。
• 數據源本身存在質量問題：在生產系統(tǒng)中有些數據就存在不規(guī)范、不完整、不準確、不一致等問題，而采集過程沒有對這些問題做清洗加工處理，或清洗加工的程序代碼不正確。
• 數據梳理過程的質量問題：在數據采集之前，需要梳理組織機構、業(yè)務事項、信息系統(tǒng)、數據資源清單等信息，那么對業(yè)務的理解不到位，將造成梳理報告的不完整或不正確。
• 數據采集過程的質量問題：采集點、采集頻率、采集內容、映射關系等采集參數和流程設置的不正確，數據采集接口效率低，導致的數據采集失敗、數據丟失、數據映射和轉換失敗。
• 數據清洗加工的質量問題：數據清洗規(guī)則、數據轉換規(guī)則、數據裝載規(guī)則配置有問題，甚至未按照數據標準開展相應的清洗加工工作，自由發(fā)揮的空間過大。并且在數據匯聚的過程中，沒有及時建立數據的相關性，導致后期很難補充完善。

數據質量的業(yè)務因素：

• 業(yè)務理解不到位：數據的業(yè)務描述、業(yè)務規(guī)則、相關性分析不到位，導致技術無法構建出合理、正確的數據模型。
• 業(yè)務流程的變更：業(yè)務流程一變，數據模型設計、數據錄入、數據采集、數據傳輸、數據清洗、數據存儲等環(huán)節(jié)都會受到影響，稍有不慎就會導致數據質量問題的發(fā)生。
• 數據輸入不規(guī)范：常見的數據錄入問題，如：大小寫、全半角、特殊字符等一不小心就會錄錯，甚至還會將數據輸入到錯誤的字段中，造成“張冠李戴”。人工錄入的數據質量與錄數據的業(yè)務人員密切相關，錄數據的人工作嚴謹、認真，數據質量就相對較好，反之就較差。
• 業(yè)務系統(tǒng)煙囪林立：過去 20 年中，只要是稍大一點的企業(yè)和政府部門，都建設了一批信息化系統(tǒng)來解決業(yè)務問題，但也導致了如今信息化整合的痛點和困難，變先發(fā)優(yōu)勢為數據困境。
• 數據作假：操作人員為了提高或降低考核指標，對一些數據進行處理，使得數據真實性無法保證。

數據質量的管理因素：

• 人才缺乏：組織以自身的業(yè)務發(fā)展的主要原則組建團隊，數據建設則依賴于外部服務公司，而自身沒有建立相應的管理手段和監(jiān)督機制，從而無法準確判斷數據項目的建設成效。
• 流程管理不完善：缺乏有效的數據質量保障機制和問題處理機制，數據質量問題從發(fā)現(xiàn)、指派、處理、優(yōu)化沒有一個統(tǒng)一的流程和制度支撐，數據質量問題無法閉環(huán)。
• 成員意識不開放：組織管理缺乏數據思維，沒有認識到數據質量的重要性，重系統(tǒng)而輕數據，認為系統(tǒng)是萬能的，數據質量差些也沒關系。組織成員沒有從組織戰(zhàn)略的視角來看待數據資產，而把數據看成是創(chuàng)造它的部門的資產，從而導致數據冗余、數據不一致、數據割裂，從而導致數據價值難以發(fā)掘。
• 獎懲機制不明確：沒有明確數據歸口管理部門或崗位，缺乏數據認責機制，出現(xiàn)數據質量問題找不到權威源頭或找不到負責人。缺乏數據規(guī)劃，沒有明確的數據質量目標，沒有制定數據質量相關的政策和制度。

5. 如何解決質量問題

如前所述，大數據的建設和管理是一個專業(yè)且復雜的工程，涵蓋了業(yè)務梳理、標準制定、元數據管理、數據模型管理、數據匯聚、清洗加工、中心存儲、資源目錄編制、共享交換、數據維護、數據失效等等過程。中間任何一個環(huán)節(jié)出問題，都將導致數據質量問題。

大部分大型組織經過大數據建設，已經獲得比較好的數據建設成果，也有了比較可觀的數據量的積累，但將這些數據直接拿來支撐業(yè)務的辦理卻是一個很大的風險，原因就是只要一筆數據不正確，都可能帶來很大的業(yè)務風險，導致客戶的報怨，這也正是業(yè)務部門對大數據建設成果報有懷疑態(tài)度的重要原因。龍石數據根據多年數據治理和數據質量實踐經驗，根據大數據建設項目的執(zhí)行過程，將它分為事前預防、事中監(jiān)控、事后改善三個階段。

事前預防

• 制定質量管理機制：基于數據管理的復雜性和誘因的多重性特點，解決數據質量問題僅僅依靠一個技術工具是不夠的，我們需要建立長效工作機制。即根據組織特點，制定符合自身環(huán)境的工作制度，制定每個環(huán)節(jié)的工作流程，規(guī)定各個參與方的責任，確定各項數據的權威部門，制定數據質量指標，制定數據質量修復流程等等。
• 制定數據質量標準：數據標準成功定義的與否，直接決定了大數據建設的成果和數據質量的高低，需要在融合國家標準、行業(yè)標準和地方標準的基礎上，融合組織自身的業(yè)務特色需求。
• 制定質量監(jiān)測模型：數據質量模型代表的是業(yè)務需求，它是從業(yè)務需求的角度而描述出來的質量需求。
• 制定質量監(jiān)測規(guī)則：數據監(jiān)測規(guī)則代表的具體的質量檢測手段，它是從技術角度來描述數據質量要求是如何被滿足的，包括規(guī)范性、完整性、準確性、致性、時效性、可訪問性，等等。

事中監(jiān)控

• 監(jiān)控原始數據質量：數據采集工作從數據源頭獲取最原始的數據，在數據采集過程中將數據分為“好數據”“壞數據”，“好數據”入庫，“壞數據”則反饋給源頭修復，因為數據來源部門最懂這些數據，也最能在源頭上把數據問題徹底修復掉。
• 監(jiān)控數據中心質量：經過各種采集、清洗、加工過程，數據被存入數據倉庫中，這些數據也將被業(yè)務部門使用，所以，對于這些成果數據的質量監(jiān)控和修復則猶為重要。對于這類數據問題，我們可能使用簡單的空值檢查、規(guī)范性檢查、值域檢查、邏輯檢查、一致性檢查、等等規(guī)則就可以檢查出來，也可能需要諸如多源比較、數據佐證、數據探索、波動檢查、離群檢查等等方法才可以檢查出來。
• 反饋數據質量問題：數據質量監(jiān)控過程中，會發(fā)現(xiàn)兩類問題，一類是源頭的數據質量問題，一類是數據中心的數據質量問題，數據質量團隊需要將這些問題及時反饋給源頭部門和數據倉庫建設團隊。
• 考核數據質量考核：數據質量的考核是為了能夠引起各個參與部門和參與團隊對數據質量的重視，需要及時統(tǒng)計分析各種數據質量問題，并制定出相應的應對措施。

事后改善

• 修復數據質量問題：發(fā)現(xiàn)質量問題不是最終的目標，我們仍要建立相關的流程和工具，通過手工、工單、自動化等等手段將質量問題修復掉，從而為業(yè)務創(chuàng)新提供可靠的數據支撐。
• 收集數據質量需求：通過數據中心的建設，質量問題的修復，必然能夠促進數據的應用，我們仍要建立通暢的數據質量反饋通道，讓各個部門參與到數據質量的再次完善中來，從而形成建設、應用和反饋的良性循環(huán)。
• 完善質量管理制度：制度和流程的建設并不是一蹴而就的，我們要在數據建設和質量完善的過程中，結合自身組織結構和業(yè)務特色，不斷完善工作制度。
• 完善數據質量標準：各行各業(yè)不斷涌現(xiàn)新的業(yè)務形態(tài)，原有的業(yè)務也在不斷的變化，我們要緊跟業(yè)務的變化，不斷完善符合業(yè)務需求的數據標準。
• 完善質量監(jiān)測模型：如前所述，監(jiān)測模型代表的業(yè)務需求，業(yè)務形態(tài)的變化、數據標準的變化和質量新需求的出現(xiàn)，同樣要求監(jiān)測模型能夠做出相應的變化。
• 完善質量監(jiān)測規(guī)則：同樣，如今的信息化技術發(fā)展日新月異，我們要不斷引入各種新技術來更加智能地發(fā)現(xiàn)和修復數據質量問題。

6. 總結

最后，我們要想把大數據建設做好，就要把數據質量做好。要把數據質量做好，就要充分理解業(yè)務，要了解大數據建設的全部過程，要從更高的視角來發(fā)現(xiàn)和解決大數據建設過程當中的各種問題。