【大咖來了 第5期】如何建設大數(shù)據(jù)中臺
原創(chuàng)本期出席《大咖來了》直播欄目的嘉賓是易觀CTO郭煒，進行了主題為《如何建設大數(shù)據(jù)中臺》的分享，主要涉及三方面：為什么要建立大數(shù)據(jù)中臺，技術(shù)大數(shù)據(jù)中臺建立參考模式與思考，及在大中臺，小前臺場景下技術(shù)人員該做些什么。
為什么要建立大數(shù)據(jù)中臺
現(xiàn)在乃至未來，絕大部分企業(yè)會陸續(xù)成為數(shù)據(jù)企業(yè)，數(shù)字用戶資產(chǎn)會成為這些企業(yè)的核心資產(chǎn)，人工智能、大數(shù)據(jù)等前沿技術(shù)也將會成為基礎(chǔ)設施，促進每個企業(yè)的業(yè)務用戶、業(yè)務線快速增長。其實，大數(shù)據(jù)中臺就是企業(yè)從傳統(tǒng)信息化到數(shù)字化演進過程中的必然產(chǎn)物。
中臺是技術(shù)人員從后臺走向前臺的過渡階段，為什么這樣說？如下圖所示，以投資銀行舉例。
如把投資銀行對前臺、中臺、后臺的定義映射到互聯(lián)網(wǎng)或系統(tǒng)，可以簡單理解為前臺是賺錢的、后臺是做支持賺錢的，而中臺是支持更快賺錢的。建設大數(shù)據(jù)中臺的本質(zhì)在于把過去在后臺的工作挪到中臺，進一步支持前臺更高效的做數(shù)據(jù)分析。
大數(shù)據(jù)平臺風行，為什么又需要建設大數(shù)據(jù)中臺呢？這是因為建設大數(shù)據(jù)平臺時有各種各樣的痛點，這里主要介紹如下三點：
-
大數(shù)據(jù)項目啟動難：大數(shù)據(jù)平臺建設周期長，成本高、人員互聯(lián)網(wǎng)運營經(jīng)驗不足。
-
大數(shù)據(jù)項目效果體現(xiàn)難：大數(shù)據(jù)如何解決互聯(lián)網(wǎng)運營問題、大數(shù)據(jù)系統(tǒng)建設結(jié)果是更多的BI報表、大數(shù)據(jù)建設ROI無法衡量。
-
大數(shù)據(jù)項目執(zhí)行難：數(shù)據(jù)源紛繁復雜、原有系統(tǒng)涉及到多部門協(xié)調(diào)溝通、以及數(shù)據(jù)治理問題。
整個大數(shù)據(jù)平臺依次從數(shù)據(jù)接入、計算、分析、運營，每一層都有各種各樣的模塊具體運作流程，如下圖。
面對這樣一個典型的大數(shù)據(jù)平臺結(jié)構(gòu)，怎樣做才能提高效率呢？這里有以下五點思考。 讓業(yè)務還給業(yè)務，盡可能避免業(yè)務人員等待技術(shù)反饋需求單這樣耗時的流程。 做到實時數(shù)據(jù)分析，滿足運營人員的需求。 能夠更好支持人工智能或增強智能所涵蓋的流行算法。 數(shù)據(jù)治理要在業(yè)務端進行，而不是在技術(shù)端進行梳理。 讓業(yè)務人員、數(shù)據(jù)科學家直接看到反饋，而不是傳統(tǒng)軟件加工方式。 從大數(shù)據(jù)平臺到數(shù)據(jù)中臺是一次從技術(shù)到業(yè)務的飛躍，過去我們只看技術(shù)，到中臺時期，是從業(yè)務端看技術(shù)。 大數(shù)據(jù)中臺大致可分為大中臺和深中臺兩種模式，如下圖。 類BAT的大數(shù)據(jù)中臺稱之為大中臺，是更廣泛的數(shù)據(jù)中臺，底層布設LaaS 、PaaS，各個業(yè)務線在基礎(chǔ)之上進行二次開發(fā)。但對于小廠而言，并沒有那么多人力開發(fā)通用中臺去支撐各個業(yè)務線，只能是各業(yè)務線圍繞自身需求進行開發(fā)，這種情況被稱之為深中臺。 說到深中臺模式，這里需要提及的是數(shù)據(jù)河理論。那什么是數(shù)據(jù)河理論呢？ 數(shù)據(jù)河理論是相對于數(shù)據(jù)湖而來，數(shù)據(jù)湖是把過去各渠道的所有數(shù)據(jù)集中到一起，為相關(guān)計算提供便捷，但久而久之，會慢慢變成數(shù)據(jù)沼澤，數(shù)據(jù)運營越來越難。 數(shù)據(jù)河的出現(xiàn)是為了方便數(shù)據(jù)運營，使得失去數(shù)據(jù)口徑和失去數(shù)據(jù)治理的數(shù)據(jù)越來越少。數(shù)據(jù)河中流淌著的是單一數(shù)據(jù)模型，數(shù)據(jù)產(chǎn)生直接實時流向使用者，不同的數(shù)據(jù)河，支撐起企業(yè)內(nèi)部數(shù)據(jù)水生態(tài)。 深中臺模式其實也是數(shù)據(jù)河模式，讓數(shù)據(jù)直接流動起來。數(shù)據(jù)河這個抽象的概念可以落實到IOTA架構(gòu)，如下圖。 IOTA是典型的去ETL化深中臺架構(gòu)，有固定數(shù)據(jù)模型、在數(shù)據(jù)產(chǎn)生時規(guī)整原子口徑，把業(yè)務口徑交還給業(yè)務人員，且支持邊緣計算與即時反饋。 如下圖，為易觀ARGO-免費用戶數(shù)據(jù)中臺樣例的結(jié)構(gòu) 在這個易觀ARGO-免費用戶數(shù)據(jù)中臺樣例中，對免費&非核心部分進行開源，支持私有化部署、用戶賬號跨端打通、實時復雜計算和下鉆分析、二次開發(fā)。 和IOTA架構(gòu)一樣，也是在數(shù)據(jù)產(chǎn)生時有技術(shù)人員規(guī)整原子口徑，通過自定義指標實時查詢，把業(yè)務口徑交還給業(yè)務人員。 大家會有疑問，數(shù)據(jù)中臺盛行，從事數(shù)據(jù)相關(guān)崗位的人，如大數(shù)據(jù)工程師、數(shù)據(jù)分析師等他們的風向在哪里？ 數(shù)據(jù)中臺的出現(xiàn)，實現(xiàn)人員的技術(shù)業(yè)務結(jié)合與飛躍，讓數(shù)據(jù)技術(shù)人員不僅增加數(shù)據(jù)技術(shù)廣度，還加強了對前臺業(yè)務理解，成為跨領(lǐng)域的“龍”式新物種—數(shù)據(jù)中臺工程師。數(shù)據(jù)中臺工程師必備基礎(chǔ)技能主要有三，分別是：商業(yè)模式、流量模式和數(shù)據(jù)分析體系。 商業(yè)模式包含注意力運營、交易類運營和效益類運營。注意力運營，這類產(chǎn)品都是試圖最大化用戶在產(chǎn)品上花費的時間，如媒體、游戲以及任何通過廣告變現(xiàn)的產(chǎn)品。關(guān)注指標是粘性，如UV、PV、訪問時長、訪問頻次、用戶到訪周期、訪問間隔等。交易類運營，這類產(chǎn)品幫助用戶做出購買決定，如：電子商務平臺、各種交易平臺、生活服務、SaaS等。關(guān)注指標是交易、交易活躍度，如新商品比例、商品被搜索比例、GMV、ARPU。效率類運營，這類產(chǎn)品幫助用戶創(chuàng)建了一種簡單可靠的方式來完成現(xiàn)有的任務或工作流程，如：工具類、B2B等。關(guān)注指標是用戶使用深度指標，如用戶完成一次工作流的數(shù)量、用戶完成一次工作流的時間。 如下圖，為數(shù)據(jù)中臺工程師必備技能之流量模式。 當我們分析某個網(wǎng)站時，可以遵循此圖，橫軸是變現(xiàn)能力，縱軸是導流能力，存在各種不同的角色。一般來講，金融類變現(xiàn)能力強，玩類導流能力強，出行類導流能力強。 如下圖，為數(shù)據(jù)中臺工程師必備技能之數(shù)據(jù)分析體系。 每一個產(chǎn)品從開始MVP驗證有效、獲取種子用戶、提升產(chǎn)品質(zhì)量、提升用戶體驗、拉新獲客實現(xiàn)營收，及規(guī)?；瘜崿F(xiàn)利潤最大化，在每個階段，都需要進行分析，如用戶分析，參與度分析，渠道分析，構(gòu)成分析，收入分析等。 而每個階段都要需要一套分析體系，對業(yè)務進行研究，所以技術(shù)人員需要補充數(shù)據(jù)分析能力和數(shù)據(jù)分析體系相關(guān)知識。 在新數(shù)據(jù)中臺情況下，迭代驗證周期是數(shù)小時到數(shù)天的迭代周期，技術(shù)人員只需要建立原子口徑，由業(yè)務人員做實時業(yè)務數(shù)據(jù)分析，支持業(yè)務分析。 建設數(shù)據(jù)中臺前需要思考這幾步驟：第一是和技術(shù)/業(yè)務主管商議是否真的需要中臺；第二是中臺模式選擇，是深中臺還是淺中臺；第三是數(shù)據(jù)中臺選擇，無論做哪種選擇最終的結(jié)果一定是讓業(yè)務人員可以直接進行相關(guān)數(shù)據(jù)分析，把業(yè)務還給業(yè)務，讓技術(shù)做技術(shù)；第四是人員和思路的變革。
技術(shù)大數(shù)據(jù)中臺建立參考模式與思考
在大中臺，小前臺場景下技術(shù)人員該做些什么
