偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

抖音集團(tuán)數(shù)據(jù)血緣深度應(yīng)用:架構(gòu)、指標(biāo)與優(yōu)化實(shí)踐

大數(shù)據(jù)
在抖音集團(tuán)內(nèi),對(duì)于數(shù)據(jù)血緣建設(shè)的目標(biāo)是:構(gòu)建全覆蓋、實(shí)時(shí)、準(zhǔn)確的大數(shù)據(jù)血緣,基于血緣數(shù)據(jù)打造全場(chǎng)景血緣應(yīng)用賦能提效。這里我們的認(rèn)知是:數(shù)據(jù)血緣是元數(shù)據(jù)的核心基礎(chǔ)能力,如果想致力于打造更高效的數(shù)據(jù)平臺(tái),可提高對(duì)于數(shù)據(jù)血緣的建設(shè)重視程度。

本文簡(jiǎn)單介紹了“抖音集團(tuán)數(shù)據(jù)資產(chǎn)管理平臺(tái)”全貌,數(shù)據(jù)資產(chǎn)管理平臺(tái)是抖音集團(tuán)在復(fù)雜業(yè)務(wù)場(chǎng)景中思考的新方向,啟發(fā)大家對(duì)于元數(shù)據(jù)以及數(shù)據(jù)資的全新思考。文章重點(diǎn)展開(kāi)介紹了“抖音集團(tuán)大數(shù)據(jù)血緣的演進(jìn)和應(yīng)用”部分,讓大家以更宏觀視角認(rèn)識(shí)血緣,并在如何建設(shè)好數(shù)據(jù)血緣給出建設(shè)性的思路。

首先整體介紹下抖音集團(tuán)的一站式數(shù)據(jù)資產(chǎn)門(mén)戶平臺(tái)。在大數(shù)據(jù)領(lǐng)域,各大公司通常會(huì)開(kāi)展元數(shù)據(jù)采集以及數(shù)據(jù)地圖的建設(shè)工作,行業(yè)內(nèi)的普遍認(rèn)知聚焦于“元數(shù)據(jù)”。而在抖音集團(tuán),我們的認(rèn)知核心在于“數(shù)據(jù)資產(chǎn)”。其核心點(diǎn)在于,我們發(fā)現(xiàn)若要真正服務(wù)好用戶,單純依靠原始元數(shù)據(jù),難以滿足更精準(zhǔn)化的找數(shù)需求。因此,我們經(jīng)過(guò)全方位的思考,構(gòu)建了更具系統(tǒng)化的“管、找、用”數(shù)據(jù)資產(chǎn)平臺(tái)。以下為抖音集團(tuán)數(shù)據(jù)資產(chǎn)管理平臺(tái)。

我們的資產(chǎn)平臺(tái)支持豐富的數(shù)據(jù)源類型,借助于強(qiáng)大的元數(shù)據(jù)采集能力,將所有數(shù)據(jù)源元數(shù)據(jù)采集至元數(shù)據(jù)中心,形成統(tǒng)一元數(shù)據(jù)湖,其中就包括全鏈路血緣?;诓杉蟮脑荚獢?shù)據(jù),數(shù)據(jù) BP 會(huì)通過(guò)資產(chǎn)管理進(jìn)行二次上下架、分級(jí)分類等管理操作,平臺(tái)會(huì)借助主動(dòng)元數(shù)據(jù)手段(Gartner 提出)等,持豐富資產(chǎn)元數(shù)據(jù)。我們會(huì)建立資產(chǎn)評(píng)估體系評(píng)估資產(chǎn)的完善度,牽引資產(chǎn)不斷做好。在消費(fèi)場(chǎng)景上,我們基于數(shù)據(jù)資產(chǎn)元數(shù)據(jù)構(gòu)建搜索、門(mén)戶以及推薦等產(chǎn)品化能力,同時(shí)結(jié)合大模型構(gòu)建AI搜索,通過(guò)多樣化產(chǎn)品矩陣滿足數(shù)據(jù)資產(chǎn)元數(shù)據(jù)消費(fèi)需求。以上是數(shù)據(jù)資產(chǎn)平臺(tái)整體簡(jiǎn)單介紹。

一、抖音集團(tuán)血緣整體介紹

1. 整體概覽

在抖音集團(tuán)內(nèi),對(duì)于數(shù)據(jù)血緣建設(shè)的目標(biāo)是:構(gòu)建全覆蓋、實(shí)時(shí)、準(zhǔn)確的大數(shù)據(jù)血緣,基于血緣數(shù)據(jù)打造全場(chǎng)景血緣應(yīng)用賦能提效。這里我們的認(rèn)知是:數(shù)據(jù)血緣是元數(shù)據(jù)的核心基礎(chǔ)能力,如果想致力于打造更高效的數(shù)據(jù)平臺(tái),可提高對(duì)于數(shù)據(jù)血緣的建設(shè)重視程度。

2. 建設(shè)背景

圖片

血緣,即元數(shù)據(jù)實(shí)體之間的關(guān)系,也可以簡(jiǎn)單理解為大數(shù)據(jù)任務(wù) ETL 的結(jié)構(gòu)化信息。抖音集團(tuán)內(nèi)部數(shù)據(jù)血緣建設(shè)背景,可以分為四個(gè)方面:

  • 看鏈路:整個(gè)大數(shù)據(jù)是一個(gè)超大的數(shù)據(jù)鏈路,集團(tuán)內(nèi)有百萬(wàn)級(jí)別的任務(wù),需要結(jié)合血緣看清楚這些業(yè)務(wù)之間的關(guān)系。
  • 保質(zhì)量:生產(chǎn)任務(wù)每天都在線上迭代,每天有萬(wàn)級(jí)別的線上任務(wù)變更,該如何評(píng)估好這些迭代對(duì)線上是否會(huì)產(chǎn)生影響,需要結(jié)合血緣鏈路去評(píng)估,以保障整個(gè)生產(chǎn)的質(zhì)量。
  • 保安全:安全是企業(yè)數(shù)據(jù)數(shù)據(jù)的生命線,如何高效發(fā)現(xiàn)企業(yè)中的敏感數(shù)據(jù),需要依賴血緣數(shù)據(jù)傳播能力。
  • 降成本:超大規(guī)模集群規(guī)模背后是大量的計(jì)算、存儲(chǔ)資源,如何合理利用資源,并精準(zhǔn)發(fā)現(xiàn)低價(jià)值資源,并驅(qū)動(dòng)治理,也需要依賴血緣實(shí)現(xiàn)。

因此,建設(shè)好大數(shù)據(jù)血緣對(duì)我們來(lái)說(shuō)迫在眉睫。

3. 血緣整體鏈路

圖片

那么如何建設(shè)好一套大數(shù)據(jù)血緣呢?

簡(jiǎn)化來(lái)看大數(shù)據(jù)鏈路:從埋點(diǎn)到消息隊(duì)列(或者上游的業(yè)務(wù) DB),構(gòu)建離線數(shù)倉(cāng)、實(shí)時(shí)數(shù)倉(cāng),數(shù)倉(cāng)加工完后寫(xiě)入到高速存儲(chǔ),提供線上服務(wù)或者產(chǎn)品化能力?;诖髷?shù)據(jù)鏈路,我們需覆蓋血緣包括以下三類。粒度上覆蓋表級(jí)血緣和字段級(jí)血緣,其中字段級(jí)我們更多提細(xì)粒度字段級(jí)血緣,包括行級(jí)血緣和算子血緣。

  • 數(shù)據(jù)源或數(shù)據(jù)采集的血緣:埋點(diǎn)血緣
  • 數(shù)據(jù)生產(chǎn)鏈路的血緣:實(shí)時(shí)數(shù)倉(cāng)血緣、離線數(shù)倉(cāng)血緣
  • 應(yīng)用端的血緣:服務(wù)/產(chǎn)品應(yīng)用的血緣

4. 血緣模型抽象

圖片

在建設(shè)血緣時(shí),該如何抽象模型呢?

前面介紹到,血緣可以簡(jiǎn)單理解為關(guān)系,那是否把血緣抽象為點(diǎn)和邊就能解決血緣的問(wèn)題呢?如上圖示例,表 tb 包含兩列,列都來(lái)自于表 ta,ta 和 tb 通過(guò)任務(wù)產(chǎn)生的關(guān)系,同時(shí)兩個(gè)表的列也都產(chǎn)生了關(guān)系,這是最直接的模型。另外,會(huì)發(fā)現(xiàn)是這個(gè)任務(wù)讓兩個(gè)實(shí)體產(chǎn)生了關(guān)系,所以另外一種模型方式是把任務(wù)節(jié)點(diǎn)也抽象出來(lái)。我們可以通過(guò)這兩種模型來(lái)表達(dá)血緣關(guān)系,但實(shí)際兩個(gè)模型其實(shí)存在差異。

第一個(gè)模型:表現(xiàn)更新時(shí)會(huì)非常慢,一旦任務(wù)變更,需要去更新所有任務(wù)相關(guān)實(shí)體節(jié)點(diǎn),但讀取會(huì)非常高效,因?yàn)殛P(guān)系被直接被固化存儲(chǔ);第二個(gè)模型:更新非常快,更新任務(wù)時(shí)只需更新任務(wù)相關(guān)的關(guān)系,但讀會(huì)非常慢,需推導(dǎo)最終血緣關(guān)系。

基于該案例推演,我們?cè)O(shè)計(jì)了更泛化的血緣模型,在模型中抽象三類實(shí)體。第一個(gè) DataStore 實(shí)體,與通常的 Hive Table 對(duì)應(yīng);第二個(gè)抽象是 Column,由于實(shí)體和實(shí)體之間存在從屬的關(guān)系,所以再往下抽象一層即 column,column 可以從屬于 DataStore;第三個(gè)抽象是 Process,實(shí)體與實(shí)體通過(guò) task 產(chǎn)生關(guān)系,所以抽象出 Process 來(lái)表達(dá) task。

通過(guò)三類實(shí)體產(chǎn)生六類關(guān)系:實(shí)體和實(shí)體的關(guān)系(如表和表的血緣關(guān)系),列與列的關(guān)系(即字段血緣),任務(wù)和任務(wù)之間的關(guān)系等。通過(guò)實(shí)踐驗(yàn)證,該模型能夠覆蓋到所有血緣關(guān)系,在實(shí)際存儲(chǔ)過(guò)程中又考慮到以上兩個(gè)特點(diǎn),我們存儲(chǔ)了兩類模型,寫(xiě)入時(shí)使用第二個(gè)模型,查詢時(shí)使用第一個(gè)模型,從而滿足大數(shù)據(jù)場(chǎng)景下高效的存儲(chǔ)和讀取。

5. 血緣衡量指標(biāo)

圖片

我們定義了“血緣質(zhì)量分”指標(biāo)來(lái)衡量血緣質(zhì)量,包括三個(gè)一級(jí)指標(biāo),加權(quán)后為血緣質(zhì)量分。抖音集團(tuán)內(nèi)部當(dāng)前血緣質(zhì)量分處于較好水平,但仍然也需要持續(xù)提升。

  • 血緣覆蓋率:考慮任務(wù)成功解析的數(shù)量,覆蓋多少任務(wù);
  • 血緣準(zhǔn)確率:成功解析并不代表完全正確,會(huì)在覆蓋基礎(chǔ)上近一步排除異常解析的情況。
  • 血緣完整率:成功解析也不一定完整,最終通過(guò)完整率來(lái)看清楚血緣是否完全覆蓋。

6. 血緣整體生態(tài)體系

圖片

血緣數(shù)據(jù)重點(diǎn)依賴依賴上游生產(chǎn)任務(wù)邏輯或者日志,通過(guò)多種接入模式采集,然后通過(guò)血緣處理(其中重點(diǎn)是解析)形成統(tǒng)一血緣數(shù)據(jù)。對(duì)外提供血緣分析服務(wù)以及血緣應(yīng)用,包括血緣圖譜、口徑探查、血緣分析以及基于血緣的各種工具箱,幫助用戶方便快捷地使用血緣。借助于血緣開(kāi)放生態(tài),希望人人能夠貢獻(xiàn)血緣,人人能夠用好血緣。

整套血緣體系有幾個(gè)特點(diǎn):覆蓋全鏈路、精細(xì)化血緣、準(zhǔn)確度非常高、應(yīng)用場(chǎng)景廣泛。

二、抖音集團(tuán)血緣系統(tǒng)架構(gòu)

1. 血緣系統(tǒng)建設(shè)挑戰(zhàn)

血緣系統(tǒng)建設(shè)主要面臨如下一些挑戰(zhàn):

  • 首先,如何精準(zhǔn)化解析細(xì)粒度血緣;
  • 其次,如何覆蓋非結(jié)構(gòu)化數(shù)據(jù)源,比如實(shí)時(shí)鏈路中會(huì)有 Redis、Kafka 等;
  • 然后,如何覆蓋跨 region 的機(jī)房血緣;
  • 最后,如何覆蓋調(diào)用較大的應(yīng)用端調(diào)用血緣。

2. 血緣系統(tǒng)解決方案架構(gòu)

圖片

基于以上四個(gè)挑戰(zhàn),我們?cè)O(shè)計(jì)了整套血緣架構(gòu)。

  • 數(shù)據(jù)源:覆蓋各種上游數(shù)據(jù)源的有價(jià)值信息,包括任務(wù)代碼、配置信息、離線表以及人工補(bǔ)錄的數(shù)據(jù)。
  • 采集:元數(shù)據(jù)鏈路和血緣鏈路,元數(shù)據(jù)鏈路重點(diǎn)關(guān)注元信息采集到元數(shù)據(jù)的體系里面;血緣鏈路,重點(diǎn)結(jié)合解析服務(wù)和 Catalog,提取血緣數(shù)據(jù);
  • 存儲(chǔ):通過(guò)圖庫(kù)存儲(chǔ)血緣數(shù)據(jù),開(kāi)源圖庫(kù)有JanusGraph、Neo4j、NebulaGraph 等。離線鏈路通過(guò)圖庫(kù) Dump 任務(wù)到 hdfs,并構(gòu)建數(shù)倉(cāng);
  • 分析:通過(guò)實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù),以通用的血緣分析服務(wù),支持實(shí)時(shí)以及離線的分析場(chǎng)景。

3. 統(tǒng)一解析服務(wù)

圖片

Java 體系中有兩個(gè)比較出名的解析器:Antlr 和 Calcite。Antlr 是一個(gè)詞法和語(yǔ)法解析器,能夠方便地幫我們解析各種各樣語(yǔ)言,變成抽象語(yǔ)法樹(shù)。Calcite 對(duì) SQL 領(lǐng)域適配較好,SQL 方面定義了 RelNode,和對(duì) SQL 相關(guān)的優(yōu)化規(guī)則。

解析是血緣領(lǐng)域非常核心的組件,需要關(guān)注支持多種方言,因?yàn)樯a(chǎn)任務(wù)是多樣化的,有實(shí)時(shí)、離線、OLAP、非結(jié)構(gòu)化數(shù)據(jù)以及更復(fù)雜的任務(wù)腳本。

這里我們提出的比較理想解析方案是:基于 Antlr+Calcite 的統(tǒng)一解析器,既能覆蓋多方言,又能處理復(fù)雜腳本,充分利用兩個(gè)解析器的優(yōu)勢(shì)。我們只要定義詞法文件和語(yǔ)法文件,通過(guò) Antlr 生成語(yǔ)法樹(shù),然后把語(yǔ)法樹(shù)通過(guò) SQLNode 轉(zhuǎn)換器轉(zhuǎn)換為 Calcite 的 SQLNode,在 SQLNode 和 RelNode 中提取出血緣信息。

4. 血緣接入服務(wù) -生產(chǎn)血緣

圖片

上圖中是數(shù)據(jù)生產(chǎn)血緣示例,一張商品表寫(xiě)到下游的一張表。解析器將任務(wù)邏輯解析,獲取到表與表的依賴關(guān)系,比如商品的 detail 表依賴商品表,商品 detail 表里商品的 number 依賴下面表的商品 number。我們會(huì)存儲(chǔ)幾個(gè)關(guān)鍵的信息,字段與字段的裁剪掉代碼片段,還會(huì)將計(jì)算算子存儲(chǔ)下來(lái),比如先做 aggregate -> select -> where,存到字段的血緣里面,這就是算子級(jí)別血緣。

對(duì)于 no schema 的任務(wù),需要去查詢 catalog 構(gòu)建血緣信息,catalog 中已提前管理 MQ/Redis 的 meta 信息。對(duì)于算子血緣,希望能夠盡量全的存儲(chǔ)計(jì)算信息,會(huì)在一些場(chǎng)景使用。

5. 血緣接入服務(wù) -跨 Region 血緣

圖片

在集團(tuán)內(nèi)部有很多 region,region 之間的數(shù)據(jù)可能會(huì)涉及到一些關(guān)聯(lián)計(jì)算,因此需要跨 region 血緣去處理。例如 A、B、C 三個(gè)區(qū)域的血緣,我們會(huì)先在本區(qū)域獲取 local 血緣,然后發(fā)到總線上去構(gòu)建跨 region 血緣。如果某個(gè)區(qū)域是一個(gè) global 表,我們會(huì)借助某個(gè)區(qū)域訪問(wèn) catalog,將 global 表展開(kāi)到具體 region。

6. 血緣接入服務(wù) -應(yīng)用血緣

圖片

應(yīng)用端血緣在業(yè)界并不常見(jiàn),是抖音集團(tuán)血緣的一大特色。我們有非常多的應(yīng)用端服務(wù)和產(chǎn)品,因此希望能夠覆蓋端到端的血緣關(guān)系,實(shí)現(xiàn)真正的全鏈路血緣。所以,我們構(gòu)建了應(yīng)用端的血緣。

應(yīng)用產(chǎn)品大體可以分成兩類,第一類就是搭建類,可以通過(guò)低代碼平臺(tái)去搭建應(yīng)用產(chǎn)品,第二類就是定制開(kāi)發(fā)的一些應(yīng)用產(chǎn)品。這兩類都會(huì)通過(guò) HTTP 或者 RPC,去調(diào)用后端服務(wù)。后端服務(wù)會(huì)調(diào)用大數(shù)據(jù) oservice(統(tǒng)一數(shù)據(jù)服務(wù)),one service 服務(wù)會(huì)調(diào)用到物理表。另外一種可能是服務(wù)會(huì)直接調(diào)用物理表。

應(yīng)用產(chǎn)品頁(yè)面跟后端服務(wù)的血緣關(guān)系打通幾個(gè)方案:對(duì)于搭建類的產(chǎn)品,借助于低代碼的 meta 信息去構(gòu)建血緣;通過(guò) spider 爬取頁(yè)面信息,通過(guò)頁(yè)面信息提取出頁(yè)面和接口的信息;通過(guò) trace 日志,基于一套日志規(guī)范,讓業(yè)務(wù)去按照規(guī)范打日志,血緣系統(tǒng)中提取日志獲取血緣數(shù)據(jù)。

服務(wù)和服務(wù)之間的血緣,主要依賴 trace 日志去構(gòu)建血緣關(guān)系。服務(wù)和 one service,基于 one service 元信息構(gòu)建血緣關(guān)系。

應(yīng)用血緣采集過(guò)程中面臨的關(guān)鍵問(wèn)題:埋點(diǎn)日志量可能會(huì)非常大,我們采取日志聚合或采樣來(lái)縮小量級(jí);埋點(diǎn)日志不準(zhǔn)確,業(yè)務(wù)方把關(guān)系打在日志中,我們稱之為染色。

三、抖音集團(tuán)血緣應(yīng)用場(chǎng)景

以上介紹了數(shù)據(jù)血緣系統(tǒng)的建設(shè)思路,接下來(lái)介紹血緣在內(nèi)部具體的應(yīng)用場(chǎng)景。

1. 血緣應(yīng)用整體介紹

圖片

我們希望能夠發(fā)揮數(shù)據(jù)血緣在數(shù)據(jù)全鏈路的價(jià)值,助力公司降本提效。這里列舉了四大應(yīng)用場(chǎng)景,分別為數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)和數(shù)據(jù)安全,其中一些已經(jīng)覆蓋,還有一些正在建設(shè)中。接下來(lái)將詳細(xì)介紹各個(gè)場(chǎng)景的應(yīng)用。

2. 數(shù)據(jù)開(kāi)發(fā)場(chǎng)景的應(yīng)用

數(shù)據(jù)開(kāi)發(fā)場(chǎng)景中的應(yīng)用主要包括:

  • 數(shù)據(jù)變更影響面評(píng)估:提供全鏈路任務(wù)、表、列的血緣關(guān)系查詢、篩選和展示,支持切換 select 血緣及 non-select 血緣,幫助用戶看清數(shù)據(jù)之間的關(guān)系。
  • 快速查看字段或者指標(biāo)加工口徑:通過(guò)血緣能力計(jì)算數(shù)據(jù)開(kāi)發(fā)鏈路,并根據(jù)指定字段進(jìn)行代碼裁剪, 只展示該字段相關(guān)邏輯,大幅減少無(wú)關(guān)代碼,提高閱讀效率。
  • 實(shí)時(shí)開(kāi)發(fā)任務(wù)提效:基于指定任務(wù),使用血緣能力為下游任務(wù)鏈路創(chuàng)建影子鏈路,提供測(cè)試鏈路數(shù)據(jù)預(yù)覽功能及線上數(shù)據(jù)比對(duì)功能,預(yù)覽最終產(chǎn)品的變動(dòng)。
  • 精準(zhǔn)選擇待回溯鏈路:基于列級(jí)別的回溯范圍計(jì)算,同時(shí)支持用戶指定首尾節(jié)點(diǎn)、根據(jù)特征進(jìn)行二次篩選等,提升回溯的整體效率和準(zhǔn)確性。
  • 上游數(shù)據(jù)變化及時(shí)感知:監(jiān)聽(tīng)元數(shù)據(jù)埋點(diǎn)變更,根據(jù)血緣關(guān)系判斷影響范圍,并實(shí)時(shí)發(fā)送通知,幫助開(kāi)發(fā)人員及時(shí)感知上游變更。
  • 數(shù)據(jù)模型重構(gòu)高校切換:基于用戶配置好待切換模型后,根據(jù)血緣計(jì)算出待切換任務(wù)列表,自動(dòng)生成切換代碼,自動(dòng)完成數(shù)據(jù)比對(duì)。

3. 數(shù)據(jù)治理場(chǎng)景的應(yīng)用

圖片

下面重點(diǎn)看數(shù)據(jù)治理鏈路應(yīng)用,數(shù)據(jù)治理的核心目標(biāo)是質(zhì)量、成本、安全。

  • 低價(jià)值/風(fēng)險(xiǎn)資產(chǎn)識(shí)別:通過(guò)血緣發(fā)現(xiàn)耗費(fèi)大量資源、下游使用很少的,低 ROI 的資產(chǎn),以及一些高風(fēng)險(xiǎn)資產(chǎn)。
  • 成本計(jì)算:基于鏈路級(jí)別血緣計(jì)算全鏈路成本。
  • 及時(shí)性保障:構(gòu)建鏈路級(jí)別的時(shí)效性保障能力。
  • 準(zhǔn)確性保障:檢測(cè)高風(fēng)險(xiǎn)、高優(yōu)先級(jí)價(jià)值的資產(chǎn)質(zhì)量是否符合預(yù)期,是否存在風(fēng)險(xiǎn)。
  • 安全保障:高效發(fā)現(xiàn)高密數(shù)據(jù),檢測(cè)安全風(fēng)險(xiǎn)。

對(duì)于及時(shí)性保障場(chǎng)景。通常大家做及時(shí)性保障,可能會(huì)做單點(diǎn)保障,比如監(jiān)控某個(gè)任務(wù)的完成時(shí)間。我們可以充分利用血緣傳播能力,當(dāng)我們發(fā)現(xiàn) 6 這個(gè)任務(wù)是一個(gè)非常核心任務(wù)時(shí),我們可以優(yōu)先級(jí)傳播到整個(gè)鏈路,進(jìn)而可以提升鏈路優(yōu)先級(jí)。當(dāng)要求任務(wù) 6 需要 6 點(diǎn)完成,在任務(wù) 1 執(zhí)行時(shí)可以預(yù)判,任務(wù) 6 在 6 點(diǎn)完成是否有風(fēng)險(xiǎn),進(jìn)而實(shí)現(xiàn)鏈路預(yù)測(cè)告警。另外,還可以做跨部門(mén) SLA 簽署,比如要保某個(gè)任務(wù),需要上游一起保障,就可以通過(guò)血緣發(fā)現(xiàn)相關(guān)資產(chǎn),然后聯(lián)合相關(guān)部門(mén)簽署 SA,從而保障整個(gè)資產(chǎn)及時(shí)性。

對(duì)于成本計(jì)算場(chǎng)景。在大數(shù)據(jù)鏈路里面,我們希望看到每個(gè)節(jié)點(diǎn)實(shí)際的資源成本消耗。例如任務(wù) 6 本身消耗資源并不大,但是為了計(jì)算 6,需要 12345 這五個(gè)任務(wù)來(lái)輔助計(jì)算,那這 5 個(gè)任務(wù)的成本也要算在 6 的成本上,這時(shí)就可以基于血緣關(guān)系將成本分?jǐn)傁氯?。?jì)算成本是為了能夠看清楚資產(chǎn)的計(jì)算成本,同時(shí)也可以用于評(píng)估資產(chǎn)的 ROI,結(jié)合治理規(guī)則,找到低 ROI 的資產(chǎn)做治理。

四、未來(lái)展望

最后簡(jiǎn)單介紹一下對(duì)未來(lái)的設(shè)想。

1. 數(shù)據(jù)血緣未來(lái)規(guī)劃

圖片

對(duì)于血緣的未來(lái)規(guī)劃:全覆蓋 和 血緣價(jià)值。

首先,會(huì)將血緣能力做得更加標(biāo)準(zhǔn)化,簡(jiǎn)化血緣的理解和接入;其次,基于標(biāo)準(zhǔn)化,做更高維度的能力開(kāi)放,讓人人都可以貢獻(xiàn)血緣;最后,進(jìn)一步構(gòu)建更細(xì)顆粒的精細(xì)化的血緣,比如行級(jí)血緣。

近一步挖掘數(shù)據(jù)血緣在質(zhì)量、效率、安全方面的價(jià)值。

2. 數(shù)據(jù)資產(chǎn)平臺(tái)未來(lái)展望

圖片

火山引擎數(shù)智平臺(tái) VeDI 旗下 DataLeap 一直致力于打造一套領(lǐng)先的數(shù)據(jù)資產(chǎn)全鏈路能力,解決數(shù)據(jù)資產(chǎn)“管、找、用”的問(wèn)題,未來(lái)期望在集團(tuán)內(nèi)部產(chǎn)生更大價(jià)值。

我們會(huì)構(gòu)建更完善的元數(shù)據(jù),行業(yè)里面有主動(dòng)元數(shù)據(jù)、大模型等新的理念,結(jié)合算法能力挖掘更多元數(shù)據(jù),形成統(tǒng)一的元數(shù)據(jù)知識(shí)圖譜。持續(xù)借助平臺(tái)能力把數(shù)據(jù)用好,例如數(shù)據(jù)資產(chǎn)門(mén)戶。我們還會(huì)基于元數(shù)據(jù)構(gòu)建豐富的應(yīng)用,幫助用戶用好這些元數(shù)據(jù)。

同時(shí)也通過(guò)火山引擎在 ToB 市場(chǎng)持續(xù)輸出到行業(yè),能夠幫助到有需要的公司,為行業(yè)大數(shù)據(jù)賦能。

責(zé)任編輯:姜華 來(lái)源: DataFunTalk
相關(guān)推薦

2023-03-28 08:28:34

2024-10-31 08:22:56

2025-01-09 08:22:05

2022-06-06 12:19:08

抖音功耗優(yōu)化Android 應(yīng)用

2025-07-30 09:36:47

2024-06-13 17:10:16

2022-03-29 13:27:22

Android優(yōu)化APP

2023-11-03 17:02:18

抖音直播畫(huà)質(zhì)優(yōu)化

2023-03-03 15:43:23

抖音世界杯畫(huà)質(zhì)優(yōu)化

2024-01-22 09:17:35

2022-06-01 09:18:37

抖音ReDex算法優(yōu)化

2024-04-30 08:05:53

2022-07-19 16:47:53

Android抖音

2024-03-12 17:13:51

2022-07-20 22:55:39

直播OOM抖動(dòng)

2022-08-26 16:24:19

抖音體系化建設(shè)項(xiàng)目

2022-07-06 13:02:00

高延時(shí)電商直播主播互動(dòng)

2023-11-24 09:44:07

數(shù)據(jù)攜程

2025-03-27 04:10:00

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)