偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

基于Apache Linkis構(gòu)建合合一站式數(shù)據(jù)開發(fā)平臺(tái)實(shí)踐分享

開發(fā)
本文分享了我們內(nèi)部實(shí)踐過程中的一些自認(rèn)為值得說一說的點(diǎn),以及一些小的功能或體驗(yàn)改造項(xiàng),以期望各位在調(diào)研或初步在使用 WDS 套件的公司或團(tuán)隊(duì),從我們的“答卷”中能獲取到一些有用的經(jīng)驗(yàn)。

1. IDS 的簡(jiǎn)介

Intsig Data Studio(IDS)是上海合合信息科技股份有限公司,大數(shù)據(jù)平臺(tái)基于微眾WDS社區(qū)開源的 Linkis&DSS 組件構(gòu)建的一站式敏捷數(shù)據(jù)應(yīng)用開發(fā)管理門戶,面向的主要用戶群體包括數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)產(chǎn)品經(jīng)理和數(shù)據(jù)質(zhì)檢人員等。

對(duì)外提供的核心能力包括一站式數(shù)據(jù)開發(fā)交互平臺(tái),支持?jǐn)?shù)據(jù)從進(jìn)來(數(shù)據(jù)集成),到處理(數(shù)據(jù)探查、作業(yè)調(diào)度),到出去(數(shù)據(jù)服務(wù),BI 報(bào)表),到運(yùn)維(任務(wù)運(yùn)維、數(shù)據(jù)質(zhì)量)等全鏈路的可視化操作。

下圖展示了 IDS 在我們大數(shù)據(jù)平臺(tái)中的定位,其上層銜接用戶或各種應(yīng)用系統(tǒng),底層聯(lián)通各種各樣的計(jì)算或存儲(chǔ)引擎。

IDS的定位

2. IDS 的誕生背景

在未引入 Linkis 和 DSS 之前,公司內(nèi)部缺少一個(gè)統(tǒng)一的開發(fā)入口,數(shù)據(jù)平臺(tái)中的用戶在進(jìn)行數(shù)據(jù)探查、業(yè)務(wù)上線的過程中要分別登入到不同的組件中進(jìn)行操作,比如:對(duì)庫表元數(shù)據(jù)的訪問需求,需要使用自研的指標(biāo)系統(tǒng)或數(shù)據(jù)地圖;做數(shù)據(jù)分析時(shí),又要借助于 zeppelin 或 ipython 等工具進(jìn)行交互式數(shù)據(jù)查詢;作業(yè)流調(diào)度發(fā)布時(shí),又重度依賴于平臺(tái)組同事來編寫Airflow底層復(fù)雜的任務(wù)依賴描述代碼。

在數(shù)據(jù)開發(fā)的整條鏈路中,涉及到的系統(tǒng)之間無法做到有效聯(lián)通,應(yīng)用孤島問題日漸嚴(yán)重,用戶也疲于在各種組件之間反復(fù)切換,這種現(xiàn)狀一直影響著大數(shù)據(jù)平臺(tái)用戶的開發(fā)效率和使用體驗(yàn)。同時(shí),多個(gè)開發(fā)入口的存在,也增加了我們大數(shù)據(jù)平臺(tái)的運(yùn)維成本,其潛在的數(shù)據(jù)流出風(fēng)險(xiǎn)也被疊加放大。

在此背景之下,我們需要一個(gè)統(tǒng)一的一站式數(shù)據(jù)開發(fā)、分析和可視化的平臺(tái)。為此,我們先后調(diào)研或試用了商業(yè)化的大數(shù)據(jù)中臺(tái)產(chǎn)品,如網(wǎng)易的數(shù)帆和阿里的dataworks等。一線大廠開發(fā)出來的產(chǎn)品,確實(shí)有著一套業(yè)界非常領(lǐng)先的標(biāo)準(zhǔn)和規(guī)范,以及擁有著非常強(qiáng)大而全面的數(shù)據(jù)治理能力,但綜合考量我們現(xiàn)有的需求場(chǎng)景和成本投入等多方面因素,我們最終沒有接受商業(yè)化的數(shù)據(jù)中臺(tái)解決方案。

不得已,我們又把目光投向了開源界的產(chǎn)品,WDS 順理成章地闖入了我們的視野,雖記不清與 WDS 相識(shí)的具體日子,但 WDS 社區(qū)及其生態(tài)組件所展現(xiàn)出來的能力,著實(shí)讓我們怦然心動(dòng)。

WDS 是一站式、金融級(jí)、全連通、開源開放的大數(shù)據(jù)平臺(tái)套件。目前支持的開源組件包括,DataSphere Studio 、Linkis,Qualitis 等。WDS 社區(qū)運(yùn)營給力,成員活躍,自 19 年以來發(fā)布的 9 個(gè)開源組件,填補(bǔ)了業(yè)界“開源體系大數(shù)據(jù)平臺(tái)套件”的空白,受到了各行業(yè)的廣泛好評(píng)和采用?;诎b好的輪子,讓眾多中小企業(yè)依托開源社區(qū)的力量來搭建內(nèi)部一站式大數(shù)據(jù)平臺(tái)的夢(mèng)想變得不再遙不可及。

3. IDS——合數(shù)據(jù)工坊的實(shí)踐之路

IDS(合數(shù)據(jù)工坊)是我們對(duì) Linkis 和 DSS 的統(tǒng)稱,Linkis 作為計(jì)算中間件,底層對(duì)接各種計(jì)算或存儲(chǔ)引擎,上層銜接各種服務(wù)或應(yīng)用,DSS 則提供一站式數(shù)據(jù)開發(fā)管理門戶的基層組件。在現(xiàn)階段,我們使用的 DataSphere Studio 和 Linkis 組件的版本分別是:1.0.1 和 1.0.3。

在這其中,最重要的工作是完成對(duì) Linkis 的適配和應(yīng)用,我司目前的大數(shù)據(jù)平臺(tái)基于 cdh5.13.1,為此我們修改了 Linkis 中依賴的大數(shù)據(jù)組件的版本以適配我們的版本,在這個(gè)過程中基本沒遇到什么太大的坑,因?yàn)樽?Linkis1.x 版本以來,針對(duì) CDH5、6 以及其他社區(qū)組件版本的兼容性都很好,基本不會(huì)出現(xiàn)太大的依賴沖突等問題,即使出現(xiàn)問題,依靠強(qiáng)大且活躍的 Linkis 社區(qū),我們也能得到及時(shí)而有效的反饋。

除了與內(nèi)部 hadoop 等組件做適配兼容之外,針對(duì) Linkis1.1.x 版本中的一些大的特性修復(fù),我們也以 patch 的形式打到了內(nèi)部 1.0.3 版本里,如:

https://github.com/apache/incubator-linkis/issues/1765

https://github.com/apache/incubator-linkis/pull/1780

現(xiàn)階段是我們 IDS 的建設(shè)初期,內(nèi)部針對(duì) DSS&Linkis 的應(yīng)用方式或一些小的改造點(diǎn),我將在下文中從如下幾個(gè)方面來敘述:

  • 用戶權(quán)限
  • 引擎增強(qiáng)
  • 作業(yè)調(diào)度
  • 數(shù)據(jù)治理
  • 小型優(yōu)化

3.1 用戶權(quán)限

IDS 集成了公司內(nèi)部的 SSO 登錄方式,用戶掃碼登錄系統(tǒng)之后,不可創(chuàng)建新的工作空間,只能使用統(tǒng)一的公共工作空間,在此工作空間下,不同角色身份的用戶,對(duì) IDS 中集成的組件入口,擁有不同的訪問權(quán)限。

IDS

同時(shí),基于 DSS 獨(dú)有的 AppConn 設(shè)計(jì)理念,DSS 可以簡(jiǎn)單快速地集成各種上層 Web 系統(tǒng)。目前,在 IDS 中已集成的組件列表包括:數(shù)據(jù)傳輸,數(shù)據(jù)探查,數(shù)據(jù)地圖,運(yùn)維平臺(tái),數(shù)據(jù)質(zhì)量,SLA 治理,數(shù)據(jù)服務(wù)等。

組件列表

DSS AppConn 的相關(guān)文檔可參考:https://github.com/WeBankFinTech/DataSphereStudio/blob/master/README-ZH.md

各個(gè)系統(tǒng)組件的入口訪問基于 IDS 中的角色及權(quán)限管控,組件之間 SSO 互通,共享同一個(gè)登錄認(rèn)證體系。同時(shí),為了更加方便地初始化用戶相關(guān)數(shù)據(jù),我們?cè)黾恿擞脩魯?shù)據(jù)初始化服務(wù),負(fù)責(zé)在每個(gè) Linkis 的安裝節(jié)點(diǎn)上初始化用戶的數(shù)據(jù),如:創(chuàng)建 Linux 用戶和用戶組,創(chuàng)建用戶的 workspace 目錄,為用戶分配統(tǒng)一的工作空間,在 Windows AD 域中創(chuàng)建用戶,SSSD 同步用戶信息到所有集群節(jié)點(diǎn),為用戶導(dǎo)出 keytab 等。

不僅用戶對(duì) IDS 組件入口的訪問受到權(quán)限控制,在進(jìn)入到組件內(nèi)部之后,具體組件中受保護(hù)的資源同樣需要在權(quán)限系統(tǒng)上審批。

組件訪問權(quán)限

下圖展示組件系統(tǒng)中對(duì)應(yīng)功能模塊的訪問申請(qǐng)與負(fù)責(zé)人審批。

組件權(quán)限申請(qǐng)

3.2 引擎增強(qiáng)

3.2.1 引擎類型擴(kuò)展

基于 Linkis 官方提供的 JDBC 引擎,我們內(nèi)部額外增加了 Presto 、 Clickhouse 、 Kyuubi 等引擎,并在 Scripts 中支持了對(duì)應(yīng)引擎類型腳本的提交,以滿足用戶對(duì)不同計(jì)算引擎的需要,同時(shí)滿足用戶對(duì)不同類型腳本的區(qū)分。

引擎類型擴(kuò)展

多引擎支持:

多引擎支持

3.2.2 Presto 慢查詢列表

Presto SQL 在我們內(nèi)部所占比重最大,針對(duì) Presto 引擎,我們?yōu)橛脩籼峁┝诉M(jìn)度提示和慢查詢列表等功能。

Presto慢查詢列表

當(dāng)前階段,Presto 慢查詢列表的主要功能是為了能直觀體現(xiàn)出來每個(gè)用戶提交 SQL 的執(zhí)行情況,我們的 Presto 集群在未上 k8s 之前,用戶隔離機(jī)制還不夠完善,有些用戶提交的 SQL 會(huì)占用較大的資源,耗時(shí)較長,對(duì)其他用戶的 SQL 任務(wù)也會(huì)產(chǎn)生一定的影響,在舊的平臺(tái)模式下,這部分指標(biāo)數(shù)據(jù)對(duì)開發(fā)用戶是不可見的,需要集群維護(hù)人員到 Presto UI 上去排查慢查詢的 SQL 任務(wù),無法做到及時(shí)有效地響應(yīng),這嚴(yán)重影響著用戶使用 Presto 查詢數(shù)據(jù)的體驗(yàn)。

在這之后,我們?cè)?K8s 環(huán)境中部署了 Presto 集群,在 Presto 集群擴(kuò)縮容,及資源管理方面進(jìn)行了較大的優(yōu)化,后續(xù),如有必要,針對(duì) Presto Query 時(shí)輸出的指標(biāo),我們會(huì)繼續(xù)從多個(gè)維度來分析,并以更好地形式展示給用戶。

3.2.3 JDBC 引擎多數(shù)據(jù)源的支持

目前,官方在 DSS&Linkis1.0.3 中,對(duì) JDBC 類型引擎的多數(shù)據(jù)源連接支持還不夠完美,我們?cè)诖嘶A(chǔ)上做了改良。

JDBC 多數(shù)據(jù)源支持

如圖,用戶通過切換不同的數(shù)據(jù)源連接標(biāo)識(shí),來達(dá)到連接不同 JDBC 服務(wù)的效果。后續(xù)官方會(huì)在 1.2.0 版本中支持此功能,詳見:https://github.com/apache/incubator-linkis/issues/2092

3.3 作業(yè)調(diào)度

DSS 提供了一套作業(yè)流設(shè)計(jì)與上線功能,其底層調(diào)度組件 Schedulis 的調(diào)度能力依賴于 Azkaban,但我們內(nèi)部的調(diào)度系統(tǒng)一直使用的是 Airflow,在構(gòu)建 IDS 之前,我們有一套自研的作業(yè)流設(shè)計(jì)和上線平臺(tái)—— Cuckoo Cloud ,其 web 化功能類似于 DolphinScheduler ,支持用戶拖拽式的設(shè)計(jì)工作流,并一鍵發(fā)布作業(yè) DAG 到 Airflow 調(diào)度平臺(tái)上,以彌補(bǔ) Airflow 在任務(wù)上線、依賴設(shè)計(jì)方面缺少可視化工具的不足。

因此在現(xiàn)階段,我們沒有使用 DSS 原生的工作流設(shè)計(jì)和發(fā)布能力,而是以 appconn 插件的形式集成了我們內(nèi)部的工作流設(shè)計(jì)平臺(tái),兩個(gè)組件之間打通了 SSO 登錄,共享一套用戶認(rèn)證體系。

內(nèi)部的作業(yè)流設(shè)計(jì)組件主要分三層結(jié)構(gòu),DAG 配置管理、調(diào)度單元管理、以及每個(gè)調(diào)度單元中所包含的任務(wù)節(jié)點(diǎn)及其依賴關(guān)系等。

3.3.1 DAG 配置管理

此處 DAG 配置與 Airflow 上的每個(gè) DAG 信息相對(duì)應(yīng)。

DAG配置

3.3.2 調(diào)度單元管理

IDS 平臺(tái)用戶把擁有某一具體業(yè)務(wù)含義的任務(wù)節(jié)點(diǎn)及其上下游依賴關(guān)系劃分到同一個(gè)調(diào)度單元之中,調(diào)度單元的作用不僅強(qiáng)調(diào)了某一具體的業(yè)務(wù)屬性,同時(shí)也是為了對(duì)一個(gè)完整 DAG 進(jìn)行概念意義上的拆分。

調(diào)度單元

3.3.3 調(diào)度單元中的任務(wù)及其上下游依賴關(guān)系

用戶在使用調(diào)度設(shè)計(jì)功能時(shí),有豐富的任務(wù)類型可供選擇和組合,幾乎涵蓋了公司內(nèi)部一條數(shù)據(jù)開發(fā)鏈路中大部分的場(chǎng)景需要,同時(shí),對(duì)額外任務(wù)節(jié)點(diǎn)的支持?jǐn)U充,也非??焖俦憬?。

tasks

調(diào)度工作流的設(shè)計(jì)

調(diào)度設(shè)計(jì)

備注,特殊任務(wù)節(jié)點(diǎn),如 Tableau、報(bào)表刷新、報(bào)表發(fā)送類型任務(wù)。原有的開發(fā)模式是,Tableau 數(shù)據(jù)源刷新任務(wù)的定時(shí)執(zhí)行是需要用戶在 tableau server 平臺(tái)上創(chuàng)建相應(yīng)數(shù)據(jù)源的定時(shí)刷新計(jì)劃。這會(huì)帶來以下幾個(gè)問題:

  1. 任務(wù)積壓,每個(gè)調(diào)度的時(shí)間點(diǎn),都會(huì)有批量的數(shù)據(jù)源刷新任務(wù)提交執(zhí)行,容易出現(xiàn) Presto 節(jié)點(diǎn)負(fù)載過高,Spark Thrift Server 的 driver 進(jìn)程掛掉等問題,這些問題的產(chǎn)生,都會(huì)導(dǎo)致數(shù)據(jù)源刷新任務(wù)的失敗。
  2. Tableau Server 上數(shù)據(jù)源刷新任務(wù)失敗之后,缺少自動(dòng)重試機(jī)制,也無法進(jìn)行有效預(yù)警,如高權(quán)重報(bào)表刷新失敗后打電話,低權(quán)重報(bào)表刷新失敗后發(fā)企業(yè)微信消息等。
  3. 報(bào)表數(shù)據(jù)源的刷新依賴于數(shù)倉批跑任務(wù)的完成,但兩者之間分散于不同的調(diào)度系統(tǒng)之中,只能預(yù)估上游任務(wù)的完成時(shí)間,來設(shè)置下游任務(wù)的開始執(zhí)行時(shí)間,一旦上游延遲,下游任務(wù)無法做到及時(shí)感知,這將導(dǎo)致報(bào)表數(shù)據(jù)缺失。

針對(duì)上述問題,我們選擇把報(bào)表數(shù)據(jù)源刷新任務(wù)包裝成 Airflow 的任務(wù)節(jié)點(diǎn),此舉帶來的成效有:

  1. 數(shù)據(jù)源刷新任務(wù)上下游依賴強(qiáng)關(guān)聯(lián),消除了上游依賴任務(wù)缺失導(dǎo)致的下游數(shù)據(jù)源空刷,報(bào)表無數(shù)據(jù)的問題,同時(shí),任務(wù)調(diào)度時(shí)間被打散,解決了任務(wù)運(yùn)行積壓的隱患。
  2. 數(shù)據(jù)源刷新任務(wù)支持自定義權(quán)重,失敗之后可以自動(dòng)重試,并能感知遠(yuǎn)程計(jì)算引擎的健康狀態(tài)和自身刷新隊(duì)列的冗余,以選擇是否延遲提交刷新任務(wù)。在任務(wù)重試不過的情況下,可以匹配出不同權(quán)重下的報(bào)警方式,來告知用戶任務(wù)運(yùn)行失敗的原因。
  3. 與 SLA 管理平臺(tái)打通,實(shí)現(xiàn)核心任務(wù)全生命周期的 SLA 標(biāo)準(zhǔn)化管理流程,自動(dòng)為核心報(bào)表任務(wù)的上游依賴劃分高權(quán)重資源隊(duì)列,并可以動(dòng)態(tài)調(diào)整上游鏈路任務(wù)運(yùn)行時(shí)所需的資源,同時(shí),還可以實(shí)時(shí)監(jiān)控核心報(bào)表上下游任務(wù)鏈路的運(yùn)行狀況,實(shí)時(shí)進(jìn)行延遲告警,SLA 任務(wù)鏈路未準(zhǔn)時(shí)指標(biāo)收集,并發(fā)送給各個(gè)業(yè)務(wù)方核心任務(wù)的準(zhǔn)時(shí)率統(tǒng)計(jì)指標(biāo)等。

用戶完成工作流的設(shè)計(jì)之后,點(diǎn)擊發(fā)布按鈕,工作流便會(huì)被 Airflow 感知,渲染,繼而進(jìn)行后續(xù)的定時(shí)執(zhí)行,對(duì)應(yīng) Airflow 上工作流如下圖:

IDS工作流

未來工作流設(shè)計(jì)平臺(tái)的一些需要提升的地方:

  1. 目前工作流中一些腳本任務(wù)開發(fā)的時(shí)候,不支持腳本的直接執(zhí)行,需要用戶在 IDS 中執(zhí)行成功之后,把腳本貼回到工作流平臺(tái)上去發(fā)布上線。
  2. 其次,工作流不支持多環(huán)境發(fā)布、暫停調(diào)度及版本管理等高級(jí)功能,后續(xù)會(huì)考慮遷移工作流設(shè)計(jì)功能到 DSS 中或考慮遷移調(diào)度至 DolphinScheduler 中。

3.4 數(shù)據(jù)治理

3.4.1 數(shù)據(jù)地圖

數(shù)據(jù)地圖以不同的安全等級(jí)、主題域或業(yè)務(wù)標(biāo)簽來劃分?jǐn)?shù)倉庫表和其他存儲(chǔ)系統(tǒng)中的庫表元數(shù)據(jù),并對(duì)外提供數(shù)據(jù)檢索能力,用戶通過該平臺(tái)可以以較小的成本找到所需的數(shù)據(jù)、報(bào)表、中間件、以及相關(guān)實(shí)體的血緣。

用戶在 IDS 平臺(tái)中查詢數(shù)倉、CK 或其他存儲(chǔ)系統(tǒng)中的線上表時(shí),會(huì)經(jīng)過 SQL 攔截器解析出來待操作的表,用戶只有在數(shù)據(jù)地圖中提交這些表的訪問申請(qǐng),并被審批通過之后,才被允許繼續(xù)執(zhí)行 SQL。

對(duì)應(yīng)的,Scripts 中庫表元數(shù)據(jù)列表所能展示的也僅限于授權(quán)過的資源,以及用戶在數(shù)據(jù)地圖中分類創(chuàng)建的一些主題庫的資源,如下圖:

主題庫

數(shù)據(jù)地圖及主題庫建設(shè)

數(shù)據(jù)地圖

3.4.2 數(shù)據(jù)流出管理

現(xiàn)階段,IDS 平臺(tái)上的數(shù)據(jù)流出包含如下兩種形式:

  1. 少量數(shù)據(jù)下載,主要以 csv、excel 兩種文件格式。
  2. 全量數(shù)據(jù)導(dǎo)出,主要以 csv、excel、json 三種文件格式。并且,只有用戶在數(shù)據(jù)地圖中申請(qǐng)過表的導(dǎo)出權(quán)限后,才被允許導(dǎo)出服務(wù)器上的全量數(shù)據(jù)到內(nèi)網(wǎng)隔離環(huán)境。

用戶提交的 SQL 正確接收到結(jié)果集之后,便會(huì)激活結(jié)果集的導(dǎo)出功能,用戶點(diǎn)擊導(dǎo)出按鈕,填寫好數(shù)據(jù)導(dǎo)出申請(qǐng)的表單,提交之后,數(shù)據(jù)導(dǎo)出服務(wù)檢測(cè)到數(shù)據(jù)導(dǎo)出任務(wù),便開始處理用戶的數(shù)據(jù)導(dǎo)出需求。

數(shù)據(jù)導(dǎo)出

用戶可以在數(shù)據(jù)導(dǎo)出列表頁面中查看自己的數(shù)據(jù)導(dǎo)出任務(wù)最新的執(zhí)行狀態(tài)。

download-data-list

3.4.3. 數(shù)據(jù)同步

主要用于多種異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交換,可實(shí)現(xiàn)各部門業(yè)務(wù)數(shù)據(jù)在應(yīng)用層面的互聯(lián)互通和信息共享。功能特性:

  • 多種數(shù)據(jù)源支持,包含但不限于 mysql、mongo、odps、es、oss、hive 之間的相互傳輸
  • 數(shù)據(jù)傳輸限流,除了基本的限流算法還支持控制全局的傳輸并發(fā)
  • 數(shù)據(jù)傳輸類型豐富,全量、增量、增量融合、拉鏈表
  • 自動(dòng)調(diào)參,以達(dá)到最好的抽取效率
  • Web 端可視化配置,隨工作流設(shè)計(jì)與調(diào)度發(fā)布

數(shù)據(jù)同步

3.4.4 數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量中心通過事前定義監(jiān)控規(guī)則、事中監(jiān)控?cái)?shù)據(jù)的生成過程以及事后評(píng)估和問題追溯,圍繞完整性、一致性、準(zhǔn)確性、有效性和及時(shí)性五個(gè)方面衡量數(shù)據(jù)質(zhì)量, 并依托離線開發(fā)中心的數(shù)據(jù)質(zhì)量配置,提升企業(yè)數(shù)據(jù)價(jià)值。

現(xiàn)有數(shù)據(jù)質(zhì)量平臺(tái)功能

  • 可以添加自定義質(zhì)量模板規(guī)則,模板規(guī)則支持 udf、正則
  • 有質(zhì)量評(píng)估評(píng)分,可以查看表和字段的質(zhì)量評(píng)分
  • 可以對(duì)臟數(shù)據(jù)進(jìn)行保存,方便查看臟數(shù)據(jù)問題
  • 支持強(qiáng)規(guī)則的熔斷機(jī)制,防止臟數(shù)據(jù)影響下游數(shù)據(jù)
  • 擁有試跑機(jī)制,并且可以查看試跑結(jié)果
  • 指標(biāo)看板可以查看歷史的臟數(shù)據(jù)趨勢(shì)

規(guī)則列表

數(shù)據(jù)質(zhì)量指標(biāo)

數(shù)據(jù)質(zhì)量指標(biāo)

3.4.5 SLA 治理

SLA 平臺(tái)為用戶提供核心數(shù)據(jù)的申報(bào)、SLA 的在線簽署,及簽署后的 SLA 運(yùn)維管理功能,通過協(xié)同全鏈路能力,共同保障申報(bào)節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量。

數(shù)據(jù)SLA

SLA 指標(biāo)

SLA指標(biāo)

3.5 IDS 中一些小的功能改造點(diǎn)或應(yīng)用項(xiàng)

以下列舉的是一些小的優(yōu)化項(xiàng),主要是為了優(yōu)化用戶的一些使用體驗(yàn)。

  1. Scripts 中腳本目錄的復(fù)制和剪切功能
  2. 腳本執(zhí)行過程中,改變?nèi)蝿?wù)進(jìn)度拉取的固定頻率為漸次遞增頻率
  3. 腳本文件共享機(jī)制,用戶可以共享單個(gè)(或多個(gè)腳本文件)給其他用戶,并設(shè)置該用戶對(duì)此腳本的讀寫權(quán)限。

share-file

  1. 組件使用的文檔指引、及視頻教程等完善,以提供給用戶更好的使用體驗(yàn)。
  2. 把 Spark 引擎的一些高級(jí)參數(shù),增加到配置項(xiàng)中

spark-engine-conf

  1. IDS 中增加用戶意見反饋一鍵發(fā)布功能

意見反饋

4. 總結(jié)

當(dāng)前階段,我們基于 DSS 和 Linkis 完成了內(nèi)部 IDS 平臺(tái)的初步構(gòu)建,獲取了部分用戶從 zeppelin 平臺(tái)過渡到 IDS 平臺(tái)的階段性成果,并為社區(qū)伙伴們,分享了我們內(nèi)部實(shí)踐過程中的一些自認(rèn)為值得說一說的點(diǎn),以及一些小的功能或體驗(yàn)改造項(xiàng),以期望各位在調(diào)研或初步在使用 WDS 套件的公司或團(tuán)隊(duì),從我們的“答卷”中能獲取到一些有用的經(jīng)驗(yàn),最后,再次感謝微眾及社區(qū)其他開發(fā)者大佬們,對(duì)我們集成過程中的解疑答惑。

責(zé)任編輯:張燕妮 來源: 大猿小猿向前沖
相關(guān)推薦

2021-08-06 09:33:57

數(shù)據(jù)湖DLF DDI

2024-05-28 07:58:08

2022-12-23 09:04:33

字節(jié)跳動(dòng)數(shù)據(jù)治理架構(gòu)

2023-10-26 06:59:58

FinOps云原生

2013-10-24 17:35:01

云網(wǎng)絡(luò)H3C電子政務(wù)

2021-12-07 10:04:34

Azure Kuber場(chǎng)景應(yīng)用

2021-07-27 16:02:40

云原生數(shù)據(jù)庫阿里云

2023-04-25 16:30:58

設(shè)備開發(fā)鴻蒙

2014-01-13 09:00:54

PythonDjango

2018-10-17 11:15:02

云交換平臺(tái)

2013-12-31 10:25:56

原子移動(dòng)云BaaS

2022-12-21 18:31:00

游戲開發(fā)鴻蒙

2017-02-23 16:07:59

網(wǎng)易

2014-07-16 16:06:53

AdSuite解決方案數(shù)字營銷洞察

2021-06-11 13:56:27

大數(shù)據(jù)DataWorks數(shù)據(jù)開發(fā)

2009-05-13 19:30:20

華碩郵件服務(wù)器MASP

2021-03-16 17:51:03

戴爾

2023-07-19 18:58:45

Noodle開源

2018-12-15 13:23:44

騰訊云開發(fā)者平臺(tái)云端

2024-08-19 09:05:00

Seata分布式事務(wù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)