1 導(dǎo)讀

本次分享偏向于面向數(shù)倉(cāng)建設(shè)、業(yè)務(wù)交付等過(guò)程中遇到的效率、質(zhì)量、成本、研發(fā)等相關(guān)問(wèn)題的系統(tǒng)性評(píng)估和治理，著重于設(shè)計(jì)思路和實(shí)踐成果的展示，不涉及太多的技術(shù)細(xì)節(jié)。讀者朋友可以根據(jù)自身業(yè)務(wù)場(chǎng)景和實(shí)際面臨的問(wèn)題，選擇性參考并應(yīng)用到實(shí)際工作中。

2 背景介紹

2.1 為什么搭建數(shù)倉(cāng)評(píng)估體系

數(shù)倉(cāng)評(píng)估體系起源于23年底，作為轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)治理的評(píng)價(jià)層，是非常重要的一環(huán)。過(guò)去很長(zhǎng)一段時(shí)間里，轉(zhuǎn)轉(zhuǎn)數(shù)倉(cāng)團(tuán)隊(duì)服務(wù)于快速發(fā)展和變化的業(yè)務(wù)，為了能夠高效響應(yīng)業(yè)務(wù)的數(shù)據(jù)需求，一方面存在煙囪式建設(shè)的情況，指標(biāo)管理也較為粗放；另一方面對(duì)于線上的表和任務(wù)往往是只做加法不做減法，帶來(lái)額外的計(jì)算和存儲(chǔ)成本。??基于上述現(xiàn)狀，衍生出如下問(wèn)題：

管理者視角：

• 看不清數(shù)倉(cāng)整體建設(shè)情況
• 看不清成本增長(zhǎng)和分布
• 內(nèi)外部用數(shù)效率和數(shù)據(jù)質(zhì)量提升難
• 看不清研發(fā)規(guī)范落地效果

數(shù)倉(cāng)RD視角：

• 名下哪些資產(chǎn)有問(wèn)題，有什么問(wèn)題
• 模型完備度如何，哪些業(yè)務(wù)過(guò)程建設(shè)較薄弱
• 模型復(fù)用率如何，哪些模型沒(méi)人用
• 哪些規(guī)范沒(méi)有執(zhí)行好

外部用戶視角：

• 找數(shù)、用數(shù)難，用戶效率低
• 準(zhǔn)確性、及時(shí)性、一致性等問(wèn)題頻出
• 報(bào)表、郵件、播報(bào)權(quán)限難管控

為了能夠系統(tǒng)性解決上述問(wèn)題，我們?cè)?4年將數(shù)據(jù)治理規(guī)劃成年度重點(diǎn)項(xiàng)目。我們通過(guò)制定標(biāo)準(zhǔn)、夯實(shí)基建、搭建指標(biāo)庫(kù)和數(shù)倉(cāng)地圖等手段來(lái)進(jìn)行事前預(yù)防和事中監(jiān)控以及輔助提效，數(shù)倉(cāng)評(píng)估體系作為事后的評(píng)價(jià)和復(fù)盤工具，則是貫穿整體治理過(guò)程。

圖片

以上是數(shù)據(jù)治理的整體規(guī)劃及數(shù)倉(cāng)評(píng)估體系所處的位置，我們對(duì)數(shù)倉(cāng)評(píng)估體系的定位是：基于客觀事實(shí)進(jìn)行數(shù)倉(cāng)現(xiàn)狀及問(wèn)題的量化分析及橫縱向?qū)Ρ龋瑢?shí)現(xiàn)基于結(jié)果指標(biāo)和治理項(xiàng)驅(qū)動(dòng)的數(shù)據(jù)治理及效果回收。

2.2 需要解決的技術(shù)問(wèn)題

?數(shù)倉(cāng)評(píng)估指標(biāo)的設(shè)計(jì)與落地?“客觀事實(shí)”數(shù)據(jù)的獲取與處理?存量的問(wèn)題怎么治理?增量的問(wèn)題怎么管控?如何不斷完善和健壯評(píng)估體系

3 設(shè)計(jì)思路

整個(gè)評(píng)估體系分為結(jié)果評(píng)估和過(guò)程評(píng)估兩大模塊。我們通過(guò)結(jié)果評(píng)估中關(guān)于效率、質(zhì)量、成本、模型相關(guān)的結(jié)果指標(biāo)，觀測(cè)數(shù)倉(cāng)治理目標(biāo)達(dá)成情況；通過(guò)過(guò)程評(píng)估的治理項(xiàng)驅(qū)動(dòng)數(shù)倉(cāng)RD進(jìn)行具體問(wèn)題的治理。

3.1 整體架構(gòu)設(shè)計(jì)

整個(gè)數(shù)倉(cāng)評(píng)估體系大致上可以分為三層：

圖片

• 指標(biāo)層： 以數(shù)據(jù)處理層產(chǎn)出的數(shù)據(jù)模型為基礎(chǔ)、結(jié)果指標(biāo)和過(guò)程指標(biāo)體系為目標(biāo)進(jìn)行指標(biāo)加工，產(chǎn)出相應(yīng)的指標(biāo)結(jié)果表，支持趨勢(shì)分析和橫向的對(duì)比分析
• 數(shù)據(jù)處理層： 對(duì)數(shù)據(jù)源層獲取到的數(shù)據(jù)為基礎(chǔ)，進(jìn)行數(shù)據(jù)清洗和建模
• 數(shù)據(jù)源層： 整合數(shù)據(jù)源，包括Hive元數(shù)據(jù)、平臺(tái)查詢?nèi)罩尽⒏婢罩?、賬單數(shù)據(jù)、治理項(xiàng)規(guī)則、組織架構(gòu)等

3.2 產(chǎn)品形態(tài)設(shè)計(jì)

整個(gè)評(píng)估體系規(guī)劃為結(jié)果評(píng)估、過(guò)程評(píng)估兩大模塊，分別對(duì)應(yīng)結(jié)果指標(biāo)和治理項(xiàng)兩套指標(biāo)體系。結(jié)果評(píng)估用于觀測(cè)當(dāng)前現(xiàn)狀及趨勢(shì)，看的是整體表現(xiàn)；過(guò)程評(píng)估驅(qū)動(dòng)日常的數(shù)據(jù)治理，直擊各RD的問(wèn)題資產(chǎn)及具體的問(wèn)題明細(xì)。

圖片

結(jié)果評(píng)估

用于呈現(xiàn)當(dāng)前在效率、質(zhì)量、成本、模型相關(guān)的指標(biāo)現(xiàn)狀，并進(jìn)行橫縱向的量化分析，支持組織、組件、人等粒度的下鉆分析。數(shù)據(jù)主要來(lái)自于分析師和產(chǎn)品運(yùn)營(yíng)等數(shù)據(jù)使用方的數(shù)據(jù)查詢?nèi)罩具M(jìn)行統(tǒng)計(jì)分析、對(duì)數(shù)據(jù)質(zhì)量監(jiān)控服務(wù)日志的統(tǒng)計(jì)分析、以及人工打標(biāo)線上問(wèn)題或事故的統(tǒng)計(jì)分析。

圖片

過(guò)程評(píng)估

通過(guò)對(duì)日常問(wèn)題、規(guī)范的抽象總結(jié)，形成各類治理項(xiàng)。目前包含效率、質(zhì)量、研發(fā)、成本四大類治理項(xiàng)，匯集成治理工作臺(tái)。通過(guò)治理項(xiàng)驅(qū)動(dòng)數(shù)倉(cāng)RD進(jìn)行數(shù)據(jù)治理。

圖片

3.2 指標(biāo)體系搭建

數(shù)倉(cāng)評(píng)估體系的指標(biāo)體系大致上可以兩層。第一層是過(guò)程評(píng)估關(guān)注的每個(gè)具體問(wèn)題對(duì)應(yīng)的治理項(xiàng)；第二層是結(jié)果評(píng)估關(guān)注的結(jié)果指標(biāo)。??

治理項(xiàng)，來(lái)自于對(duì)日常規(guī)范的抽象，是每一個(gè)具體的問(wèn)題的檢查項(xiàng)，是數(shù)據(jù)治理的最細(xì)粒度。我們一期圍繞效率、質(zhì)量、研發(fā)、成本四方面一共設(shè)置了24個(gè)治理項(xiàng)。

圖片

結(jié)果指標(biāo)，是各類問(wèn)題的聚合結(jié)果，是某一類問(wèn)題或者單個(gè)核心問(wèn)題的當(dāng)前現(xiàn)狀表現(xiàn)。我們對(duì)管理者視角、RD視角、用戶視角所存在的問(wèn)題進(jìn)行了抽象和歸類成具體的治理項(xiàng)，設(shè)置如下指標(biāo)體系：

• 效率上： 我們會(huì)關(guān)注效率分，這是一個(gè)基于平均運(yùn)行時(shí)長(zhǎng)、ODS穿透率、復(fù)雜SQL占比加權(quán)統(tǒng)計(jì)出來(lái)的復(fù)合指標(biāo)，用來(lái)觀測(cè)評(píng)估業(yè)務(wù)側(cè)通過(guò)即席查詢使用數(shù)據(jù)時(shí)的效率情況。
• 質(zhì)量上： 我們關(guān)注線上問(wèn)題次數(shù)
• 成本上： 我們關(guān)注成本整體的增長(zhǎng)率、分組件的成本分布和增長(zhǎng)情況，并且關(guān)注具體到業(yè)務(wù)和個(gè)人的成本分布。
• 模型上： 我們關(guān)注整體的完備度、復(fù)用率、穩(wěn)定性、規(guī)范性等。

4 結(jié)果呈現(xiàn)

4.1 結(jié)果評(píng)估模塊展示

效率評(píng)估

實(shí)現(xiàn)效率分的橫向和縱向?qū)Ρ?，支持分業(yè)務(wù)下鉆至具體的個(gè)人以及具體的某次查詢。通過(guò)內(nèi)部模型完備、宣導(dǎo)加提效工具的賦能，輔助業(yè)務(wù)側(cè)的運(yùn)營(yíng)、產(chǎn)品、分析師等同事，提升日常查詢數(shù)據(jù)的效率。

圖片

質(zhì)量評(píng)估

實(shí)現(xiàn)線上質(zhì)量問(wèn)題的趨勢(shì)分析。這塊目前以手動(dòng)填報(bào)為主，后續(xù)會(huì)引入質(zhì)量監(jiān)控、任務(wù)告警等數(shù)據(jù)，作為質(zhì)量問(wèn)題的評(píng)估依據(jù)。當(dāng)前還是側(cè)重于業(yè)務(wù)感知問(wèn)題記錄和復(fù)盤。

圖片

成本評(píng)估

成本這塊，我們重點(diǎn)關(guān)注月度增長(zhǎng)趨勢(shì)是否在可控的范圍內(nèi)，后續(xù)會(huì)通過(guò)任務(wù)及存儲(chǔ)的系統(tǒng)性治理，驅(qū)動(dòng)成本的下降，今年的重心還是在內(nèi)部模型相關(guān)治理上。

圖片

成本拆解至組件、組織和個(gè)人：

圖片

模型評(píng)估

??這塊是今年投入時(shí)間最多的部分。我們通過(guò)完備度、復(fù)用率、穩(wěn)定性、規(guī)范性指標(biāo)，觀測(cè)治理的成果。通過(guò)目標(biāo)驅(qū)動(dòng)RD使用治理工作臺(tái)進(jìn)行各類問(wèn)題下具體治理項(xiàng)的治理。

圖片

4.2 過(guò)程評(píng)估模塊展示

本模塊呈現(xiàn)各RD當(dāng)前存在問(wèn)題的資產(chǎn)明細(xì)，通過(guò)點(diǎn)擊資產(chǎn)名稱，可跳轉(zhuǎn)查看具體問(wèn)題項(xiàng)。也可通過(guò)控件篩選查詢當(dāng)前關(guān)注的治理項(xiàng)。

圖片

資產(chǎn)問(wèn)題治理項(xiàng)明細(xì)：

圖片

通過(guò)治理報(bào)告可觀測(cè)當(dāng)前目標(biāo)的達(dá)成情況，及本周或本月的治理進(jìn)展。并且通過(guò)新增資產(chǎn)監(jiān)控實(shí)現(xiàn)增量問(wèn)題的管控。

圖片

4.3 階段性治理收益

過(guò)去一年，我們通過(guò)數(shù)倉(cāng)評(píng)估體系驅(qū)動(dòng)的數(shù)據(jù)治理，重點(diǎn)還是在于數(shù)倉(cāng)內(nèi)部的治理。偏向于完備度、復(fù)用率、穩(wěn)定性和規(guī)范性。磨刀不誤砍柴工，勤修煉內(nèi)功，為后續(xù)的效率和質(zhì)量治理奠定基礎(chǔ)。

治理收益如下：

圖片

• 驅(qū)動(dòng)完備度從年初的50.2%提升至93.97%，凈提升43.77%
• 驅(qū)動(dòng)復(fù)用率從年初的51.65%提升至88.61%，凈提升36.96%
• 驅(qū)動(dòng)穩(wěn)定性從年初的76.27%提升至94.45%，凈提升18.18%
• 驅(qū)動(dòng)規(guī)范性從年初的76.56%提升至94.61%，凈提升18.05%

給數(shù)倉(cāng)帶來(lái)的核心變化是：

完備度治理驅(qū)動(dòng)24年新上線模型達(dá)到上一年2.6倍，增長(zhǎng)161%，對(duì)應(yīng)的符合復(fù)用標(biāo)準(zhǔn)的模型數(shù)不降反升，說(shuō)明模型更貼合當(dāng)前的業(yè)務(wù)場(chǎng)景及業(yè)務(wù)過(guò)程且復(fù)用程度更高，另外治理過(guò)程整合下線無(wú)用模型，一定程度上減少了存儲(chǔ)空間占用。??最終完備度達(dá)到95%，則說(shuō)明內(nèi)部承接的需求，95%都可以通過(guò)模型層滿足，過(guò)往只能滿足50%左右。??在規(guī)范性上，之前一直存在的跨層穿透問(wèn)題、回流引用問(wèn)題、引用外部門表問(wèn)題、注釋缺失問(wèn)題、缺依賴問(wèn)題等存量問(wèn)題基本治理完畢并得到了控制，后續(xù)持續(xù)觀測(cè)即可。

5 未來(lái)規(guī)劃

• 通過(guò)定期復(fù)盤，持續(xù)迭代和完善治理項(xiàng)，使評(píng)估更準(zhǔn)確、更全面
• 慢慢由內(nèi)部的治理，轉(zhuǎn)向外部效率&質(zhì)量治理提升
• 挖掘成本存在浪費(fèi)的業(yè)務(wù)或個(gè)人，通過(guò)治理驅(qū)動(dòng)降本增效
• 逐步推廣至倉(cāng)外評(píng)估和治理

關(guān)于作者

邱狄凡，轉(zhuǎn)轉(zhuǎn)大數(shù)據(jù)開(kāi)發(fā)工程師，C2&新媒體數(shù)倉(cāng)負(fù)責(zé)人，數(shù)據(jù)治理數(shù)倉(cāng)主R。