1. IDS 的簡(jiǎn)介

Intsig Data Studio（IDS）是上海合合信息科技股份有限公司，大數(shù)據(jù)平臺(tái)基于微眾WDS社區(qū)開源的 Linkis&DSS 組件構(gòu)建的一站式敏捷數(shù)據(jù)應(yīng)用開發(fā)管理門戶，面向的主要用戶群體包括數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)產(chǎn)品經(jīng)理和數(shù)據(jù)質(zhì)檢人員等。

對(duì)外提供的核心能力包括一站式數(shù)據(jù)開發(fā)交互平臺(tái)，支持?jǐn)?shù)據(jù)從進(jìn)來（數(shù)據(jù)集成），到處理（數(shù)據(jù)探查、作業(yè)調(diào)度），到出去（數(shù)據(jù)服務(wù)，BI 報(bào)表），到運(yùn)維（任務(wù)運(yùn)維、數(shù)據(jù)質(zhì)量）等全鏈路的可視化操作。

下圖展示了 IDS 在我們大數(shù)據(jù)平臺(tái)中的定位，其上層銜接用戶或各種應(yīng)用系統(tǒng)，底層聯(lián)通各種各樣的計(jì)算或存儲(chǔ)引擎。

IDS的定位

2. IDS 的誕生背景

在未引入 Linkis 和 DSS 之前，公司內(nèi)部缺少一個(gè)統(tǒng)一的開發(fā)入口，數(shù)據(jù)平臺(tái)中的用戶在進(jìn)行數(shù)據(jù)探查、業(yè)務(wù)上線的過程中要分別登入到不同的組件中進(jìn)行操作，比如：對(duì)庫表元數(shù)據(jù)的訪問需求，需要使用自研的指標(biāo)系統(tǒng)或數(shù)據(jù)地圖；做數(shù)據(jù)分析時(shí)，又要借助于 zeppelin 或 ipython 等工具進(jìn)行交互式數(shù)據(jù)查詢；作業(yè)流調(diào)度發(fā)布時(shí)，又重度依賴于平臺(tái)組同事來編寫Airflow底層復(fù)雜的任務(wù)依賴描述代碼。

在數(shù)據(jù)開發(fā)的整條鏈路中，涉及到的系統(tǒng)之間無法做到有效聯(lián)通，應(yīng)用孤島問題日漸嚴(yán)重，用戶也疲于在各種組件之間反復(fù)切換，這種現(xiàn)狀一直影響著大數(shù)據(jù)平臺(tái)用戶的開發(fā)效率和使用體驗(yàn)。同時(shí)，多個(gè)開發(fā)入口的存在，也增加了我們大數(shù)據(jù)平臺(tái)的運(yùn)維成本，其潛在的數(shù)據(jù)流出風(fēng)險(xiǎn)也被疊加放大。

在此背景之下，我們需要一個(gè)統(tǒng)一的一站式數(shù)據(jù)開發(fā)、分析和可視化的平臺(tái)。為此，我們先后調(diào)研或試用了商業(yè)化的大數(shù)據(jù)中臺(tái)產(chǎn)品，如網(wǎng)易的數(shù)帆和阿里的dataworks等。一線大廠開發(fā)出來的產(chǎn)品，確實(shí)有著一套業(yè)界非常領(lǐng)先的標(biāo)準(zhǔn)和規(guī)范，以及擁有著非常強(qiáng)大而全面的數(shù)據(jù)治理能力，但綜合考量我們現(xiàn)有的需求場(chǎng)景和成本投入等多方面因素，我們最終沒有接受商業(yè)化的數(shù)據(jù)中臺(tái)解決方案。

不得已，我們又把目光投向了開源界的產(chǎn)品，WDS 順理成章地闖入了我們的視野，雖記不清與 WDS 相識(shí)的具體日子，但 WDS 社區(qū)及其生態(tài)組件所展現(xiàn)出來的能力，著實(shí)讓我們怦然心動(dòng)。

WDS 是一站式、金融級(jí)、全連通、開源開放的大數(shù)據(jù)平臺(tái)套件。目前支持的開源組件包括，DataSphere Studio 、Linkis，Qualitis 等。WDS 社區(qū)運(yùn)營給力，成員活躍，自 19 年以來發(fā)布的 9 個(gè)開源組件，填補(bǔ)了業(yè)界“開源體系大數(shù)據(jù)平臺(tái)套件”的空白，受到了各行業(yè)的廣泛好評(píng)和采用?；诎b好的輪子，讓眾多中小企業(yè)依托開源社區(qū)的力量來搭建內(nèi)部一站式大數(shù)據(jù)平臺(tái)的夢(mèng)想變得不再遙不可及。

3. IDS——合數(shù)據(jù)工坊的實(shí)踐之路

IDS（合數(shù)據(jù)工坊）是我們對(duì) Linkis 和 DSS 的統(tǒng)稱，Linkis 作為計(jì)算中間件，底層對(duì)接各種計(jì)算或存儲(chǔ)引擎，上層銜接各種服務(wù)或應(yīng)用，DSS 則提供一站式數(shù)據(jù)開發(fā)管理門戶的基層組件。在現(xiàn)階段，我們使用的 DataSphere Studio 和 Linkis 組件的版本分別是：1.0.1 和 1.0.3。

在這其中，最重要的工作是完成對(duì) Linkis 的適配和應(yīng)用，我司目前的大數(shù)據(jù)平臺(tái)基于 cdh5.13.1，為此我們修改了 Linkis 中依賴的大數(shù)據(jù)組件的版本以適配我們的版本，在這個(gè)過程中基本沒遇到什么太大的坑，因?yàn)樽?Linkis1.x 版本以來，針對(duì) CDH5、6 以及其他社區(qū)組件版本的兼容性都很好，基本不會(huì)出現(xiàn)太大的依賴沖突等問題，即使出現(xiàn)問題，依靠強(qiáng)大且活躍的 Linkis 社區(qū)，我們也能得到及時(shí)而有效的反饋。

除了與內(nèi)部 hadoop 等組件做適配兼容之外，針對(duì) Linkis1.1.x 版本中的一些大的特性修復(fù)，我們也以 patch 的形式打到了內(nèi)部 1.0.3 版本里，如：

https://github.com/apache/incubator-linkis/issues/1765

https://github.com/apache/incubator-linkis/pull/1780

現(xiàn)階段是我們 IDS 的建設(shè)初期，內(nèi)部針對(duì) DSS&Linkis 的應(yīng)用方式或一些小的改造點(diǎn)，我將在下文中從如下幾個(gè)方面來敘述：

• 用戶權(quán)限
• 引擎增強(qiáng)
• 作業(yè)調(diào)度
• 數(shù)據(jù)治理
• 小型優(yōu)化

3.1 用戶權(quán)限

IDS 集成了公司內(nèi)部的 SSO 登錄方式，用戶掃碼登錄系統(tǒng)之后，不可創(chuàng)建新的工作空間，只能使用統(tǒng)一的公共工作空間，在此工作空間下，不同角色身份的用戶，對(duì) IDS 中集成的組件入口，擁有不同的訪問權(quán)限。

IDS

同時(shí)，基于 DSS 獨(dú)有的 AppConn 設(shè)計(jì)理念，DSS 可以簡(jiǎn)單快速地集成各種上層 Web 系統(tǒng)。目前，在 IDS 中已集成的組件列表包括：數(shù)據(jù)傳輸，數(shù)據(jù)探查，數(shù)據(jù)地圖，運(yùn)維平臺(tái)，數(shù)據(jù)質(zhì)量，SLA 治理，數(shù)據(jù)服務(wù)等。

組件列表

DSS AppConn 的相關(guān)文檔可參考：https://github.com/WeBankFinTech/DataSphereStudio/blob/master/README-ZH.md

各個(gè)系統(tǒng)組件的入口訪問基于 IDS 中的角色及權(quán)限管控，組件之間 SSO 互通，共享同一個(gè)登錄認(rèn)證體系。同時(shí)，為了更加方便地初始化用戶相關(guān)數(shù)據(jù)，我們?cè)黾恿擞脩魯?shù)據(jù)初始化服務(wù)，負(fù)責(zé)在每個(gè) Linkis 的安裝節(jié)點(diǎn)上初始化用戶的數(shù)據(jù)，如：創(chuàng)建 Linux 用戶和用戶組，創(chuàng)建用戶的 workspace 目錄，為用戶分配統(tǒng)一的工作空間，在 Windows AD 域中創(chuàng)建用戶，SSSD 同步用戶信息到所有集群節(jié)點(diǎn)，為用戶導(dǎo)出 keytab 等。

不僅用戶對(duì) IDS 組件入口的訪問受到權(quán)限控制，在進(jìn)入到組件內(nèi)部之后，具體組件中受保護(hù)的資源同樣需要在權(quán)限系統(tǒng)上審批。

組件訪問權(quán)限

下圖展示組件系統(tǒng)中對(duì)應(yīng)功能模塊的訪問申請(qǐng)與負(fù)責(zé)人審批。

組件權(quán)限申請(qǐng)

3.2 引擎增強(qiáng)

3.2.1 引擎類型擴(kuò)展

基于 Linkis 官方提供的 JDBC 引擎，我們內(nèi)部額外增加了 Presto 、 Clickhouse 、 Kyuubi 等引擎，并在 Scripts 中支持了對(duì)應(yīng)引擎類型腳本的提交，以滿足用戶對(duì)不同計(jì)算引擎的需要，同時(shí)滿足用戶對(duì)不同類型腳本的區(qū)分。

引擎類型擴(kuò)展

多引擎支持：

多引擎支持

3.2.2 Presto 慢查詢列表

Presto SQL 在我們內(nèi)部所占比重最大，針對(duì) Presto 引擎，我們?yōu)橛脩籼峁┝诉M(jìn)度提示和慢查詢列表等功能。

Presto慢查詢列表

當(dāng)前階段，Presto 慢查詢列表的主要功能是為了能直觀體現(xiàn)出來每個(gè)用戶提交 SQL 的執(zhí)行情況，我們的 Presto 集群在未上 k8s 之前，用戶隔離機(jī)制還不夠完善，有些用戶提交的 SQL 會(huì)占用較大的資源，耗時(shí)較長，對(duì)其他用戶的 SQL 任務(wù)也會(huì)產(chǎn)生一定的影響，在舊的平臺(tái)模式下，這部分指標(biāo)數(shù)據(jù)對(duì)開發(fā)用戶是不可見的，需要集群維護(hù)人員到 Presto UI 上去排查慢查詢的 SQL 任務(wù)，無法做到及時(shí)有效地響應(yīng)，這嚴(yán)重影響著用戶使用 Presto 查詢數(shù)據(jù)的體驗(yàn)。

在這之后，我們?cè)?K8s 環(huán)境中部署了 Presto 集群，在 Presto 集群擴(kuò)縮容，及資源管理方面進(jìn)行了較大的優(yōu)化，后續(xù)，如有必要，針對(duì) Presto Query 時(shí)輸出的指標(biāo)，我們會(huì)繼續(xù)從多個(gè)維度來分析，并以更好地形式展示給用戶。

3.2.3 JDBC 引擎多數(shù)據(jù)源的支持

目前，官方在 DSS&Linkis1.0.3 中，對(duì) JDBC 類型引擎的多數(shù)據(jù)源連接支持還不夠完美，我們?cè)诖嘶A(chǔ)上做了改良。

JDBC 多數(shù)據(jù)源支持

如圖，用戶通過切換不同的數(shù)據(jù)源連接標(biāo)識(shí)，來達(dá)到連接不同 JDBC 服務(wù)的效果。后續(xù)官方會(huì)在 1.2.0 版本中支持此功能，詳見：https://github.com/apache/incubator-linkis/issues/2092

3.3 作業(yè)調(diào)度

DSS 提供了一套作業(yè)流設(shè)計(jì)與上線功能，其底層調(diào)度組件 Schedulis 的調(diào)度能力依賴于 Azkaban，但我們內(nèi)部的調(diào)度系統(tǒng)一直使用的是 Airflow，在構(gòu)建 IDS 之前，我們有一套自研的作業(yè)流設(shè)計(jì)和上線平臺(tái)—— Cuckoo Cloud ，其 web 化功能類似于 DolphinScheduler ，支持用戶拖拽式的設(shè)計(jì)工作流，并一鍵發(fā)布作業(yè) DAG 到 Airflow 調(diào)度平臺(tái)上，以彌補(bǔ) Airflow 在任務(wù)上線、依賴設(shè)計(jì)方面缺少可視化工具的不足。

因此在現(xiàn)階段，我們沒有使用 DSS 原生的工作流設(shè)計(jì)和發(fā)布能力，而是以 appconn 插件的形式集成了我們內(nèi)部的工作流設(shè)計(jì)平臺(tái)，兩個(gè)組件之間打通了 SSO 登錄，共享一套用戶認(rèn)證體系。

內(nèi)部的作業(yè)流設(shè)計(jì)組件主要分三層結(jié)構(gòu)，DAG 配置管理、調(diào)度單元管理、以及每個(gè)調(diào)度單元中所包含的任務(wù)節(jié)點(diǎn)及其依賴關(guān)系等。

3.3.1 DAG 配置管理

此處 DAG 配置與 Airflow 上的每個(gè) DAG 信息相對(duì)應(yīng)。

DAG配置

3.3.2 調(diào)度單元管理

IDS 平臺(tái)用戶把擁有某一具體業(yè)務(wù)含義的任務(wù)節(jié)點(diǎn)及其上下游依賴關(guān)系劃分到同一個(gè)調(diào)度單元之中，調(diào)度單元的作用不僅強(qiáng)調(diào)了某一具體的業(yè)務(wù)屬性，同時(shí)也是為了對(duì)一個(gè)完整 DAG 進(jìn)行概念意義上的拆分。

調(diào)度單元

3.3.3 調(diào)度單元中的任務(wù)及其上下游依賴關(guān)系

用戶在使用調(diào)度設(shè)計(jì)功能時(shí)，有豐富的任務(wù)類型可供選擇和組合，幾乎涵蓋了公司內(nèi)部一條數(shù)據(jù)開發(fā)鏈路中大部分的場(chǎng)景需要，同時(shí)，對(duì)額外任務(wù)節(jié)點(diǎn)的支持?jǐn)U充，也非?？焖俦憬?。

tasks

調(diào)度工作流的設(shè)計(jì)

調(diào)度設(shè)計(jì)

備注，特殊任務(wù)節(jié)點(diǎn)，如 Tableau、報(bào)表刷新、報(bào)表發(fā)送類型任務(wù)。原有的開發(fā)模式是，Tableau 數(shù)據(jù)源刷新任務(wù)的定時(shí)執(zhí)行是需要用戶在 tableau server 平臺(tái)上創(chuàng)建相應(yīng)數(shù)據(jù)源的定時(shí)刷新計(jì)劃。這會(huì)帶來以下幾個(gè)問題：

1. 任務(wù)積壓，每個(gè)調(diào)度的時(shí)間點(diǎn)，都會(huì)有批量的數(shù)據(jù)源刷新任務(wù)提交執(zhí)行，容易出現(xiàn) Presto 節(jié)點(diǎn)負(fù)載過高，Spark Thrift Server 的 driver 進(jìn)程掛掉等問題，這些問題的產(chǎn)生，都會(huì)導(dǎo)致數(shù)據(jù)源刷新任務(wù)的失敗。
2. Tableau Server 上數(shù)據(jù)源刷新任務(wù)失敗之后，缺少自動(dòng)重試機(jī)制，也無法進(jìn)行有效預(yù)警，如高權(quán)重報(bào)表刷新失敗后打電話，低權(quán)重報(bào)表刷新失敗后發(fā)企業(yè)微信消息等。
3. 報(bào)表數(shù)據(jù)源的刷新依賴于數(shù)倉批跑任務(wù)的完成，但兩者之間分散于不同的調(diào)度系統(tǒng)之中，只能預(yù)估上游任務(wù)的完成時(shí)間，來設(shè)置下游任務(wù)的開始執(zhí)行時(shí)間，一旦上游延遲，下游任務(wù)無法做到及時(shí)感知，這將導(dǎo)致報(bào)表數(shù)據(jù)缺失。

針對(duì)上述問題，我們選擇把報(bào)表數(shù)據(jù)源刷新任務(wù)包裝成 Airflow 的任務(wù)節(jié)點(diǎn)，此舉帶來的成效有：

1. 數(shù)據(jù)源刷新任務(wù)上下游依賴強(qiáng)關(guān)聯(lián)，消除了上游依賴任務(wù)缺失導(dǎo)致的下游數(shù)據(jù)源空刷，報(bào)表無數(shù)據(jù)的問題，同時(shí)，任務(wù)調(diào)度時(shí)間被打散，解決了任務(wù)運(yùn)行積壓的隱患。
2. 數(shù)據(jù)源刷新任務(wù)支持自定義權(quán)重，失敗之后可以自動(dòng)重試，并能感知遠(yuǎn)程計(jì)算引擎的健康狀態(tài)和自身刷新隊(duì)列的冗余，以選擇是否延遲提交刷新任務(wù)。在任務(wù)重試不過的情況下，可以匹配出不同權(quán)重下的報(bào)警方式，來告知用戶任務(wù)運(yùn)行失敗的原因。
3. 與 SLA 管理平臺(tái)打通，實(shí)現(xiàn)核心任務(wù)全生命周期的 SLA 標(biāo)準(zhǔn)化管理流程，自動(dòng)為核心報(bào)表任務(wù)的上游依賴劃分高權(quán)重資源隊(duì)列，并可以動(dòng)態(tài)調(diào)整上游鏈路任務(wù)運(yùn)行時(shí)所需的資源，同時(shí)，還可以實(shí)時(shí)監(jiān)控核心報(bào)表上下游任務(wù)鏈路的運(yùn)行狀況，實(shí)時(shí)進(jìn)行延遲告警，SLA 任務(wù)鏈路未準(zhǔn)時(shí)指標(biāo)收集，并發(fā)送給各個(gè)業(yè)務(wù)方核心任務(wù)的準(zhǔn)時(shí)率統(tǒng)計(jì)指標(biāo)等。

用戶完成工作流的設(shè)計(jì)之后，點(diǎn)擊發(fā)布按鈕，工作流便會(huì)被 Airflow 感知，渲染，繼而進(jìn)行后續(xù)的定時(shí)執(zhí)行，對(duì)應(yīng) Airflow 上工作流如下圖：

IDS工作流

未來工作流設(shè)計(jì)平臺(tái)的一些需要提升的地方：

1. 目前工作流中一些腳本任務(wù)開發(fā)的時(shí)候，不支持腳本的直接執(zhí)行，需要用戶在 IDS 中執(zhí)行成功之后，把腳本貼回到工作流平臺(tái)上去發(fā)布上線。
2. 其次，工作流不支持多環(huán)境發(fā)布、暫停調(diào)度及版本管理等高級(jí)功能，后續(xù)會(huì)考慮遷移工作流設(shè)計(jì)功能到 DSS 中或考慮遷移調(diào)度至 DolphinScheduler 中。

3.4 數(shù)據(jù)治理

3.4.1 數(shù)據(jù)地圖

數(shù)據(jù)地圖以不同的安全等級(jí)、主題域或業(yè)務(wù)標(biāo)簽來劃分?jǐn)?shù)倉庫表和其他存儲(chǔ)系統(tǒng)中的庫表元數(shù)據(jù)，并對(duì)外提供數(shù)據(jù)檢索能力，用戶通過該平臺(tái)可以以較小的成本找到所需的數(shù)據(jù)、報(bào)表、中間件、以及相關(guān)實(shí)體的血緣。

用戶在 IDS 平臺(tái)中查詢數(shù)倉、CK 或其他存儲(chǔ)系統(tǒng)中的線上表時(shí)，會(huì)經(jīng)過 SQL 攔截器解析出來待操作的表，用戶只有在數(shù)據(jù)地圖中提交這些表的訪問申請(qǐng)，并被審批通過之后，才被允許繼續(xù)執(zhí)行 SQL。

對(duì)應(yīng)的，Scripts 中庫表元數(shù)據(jù)列表所能展示的也僅限于授權(quán)過的資源，以及用戶在數(shù)據(jù)地圖中分類創(chuàng)建的一些主題庫的資源，如下圖：

主題庫

數(shù)據(jù)地圖及主題庫建設(shè)

數(shù)據(jù)地圖

3.4.2 數(shù)據(jù)流出管理

現(xiàn)階段，IDS 平臺(tái)上的數(shù)據(jù)流出包含如下兩種形式：

1. 少量數(shù)據(jù)下載，主要以 csv、excel 兩種文件格式。
2. 全量數(shù)據(jù)導(dǎo)出，主要以 csv、excel、json 三種文件格式。并且，只有用戶在數(shù)據(jù)地圖中申請(qǐng)過表的導(dǎo)出權(quán)限后，才被允許導(dǎo)出服務(wù)器上的全量數(shù)據(jù)到內(nèi)網(wǎng)隔離環(huán)境。

用戶提交的 SQL 正確接收到結(jié)果集之后，便會(huì)激活結(jié)果集的導(dǎo)出功能，用戶點(diǎn)擊導(dǎo)出按鈕，填寫好數(shù)據(jù)導(dǎo)出申請(qǐng)的表單，提交之后，數(shù)據(jù)導(dǎo)出服務(wù)檢測(cè)到數(shù)據(jù)導(dǎo)出任務(wù)，便開始處理用戶的數(shù)據(jù)導(dǎo)出需求。

數(shù)據(jù)導(dǎo)出

用戶可以在數(shù)據(jù)導(dǎo)出列表頁面中查看自己的數(shù)據(jù)導(dǎo)出任務(wù)最新的執(zhí)行狀態(tài)。

download-data-list

3.4.3. 數(shù)據(jù)同步

主要用于多種異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交換，可實(shí)現(xiàn)各部門業(yè)務(wù)數(shù)據(jù)在應(yīng)用層面的互聯(lián)互通和信息共享。功能特性：

• 多種數(shù)據(jù)源支持，包含但不限于 mysql、mongo、odps、es、oss、hive 之間的相互傳輸
• 數(shù)據(jù)傳輸限流，除了基本的限流算法還支持控制全局的傳輸并發(fā)
• 數(shù)據(jù)傳輸類型豐富，全量、增量、增量融合、拉鏈表
• 自動(dòng)調(diào)參，以達(dá)到最好的抽取效率
• Web 端可視化配置，隨工作流設(shè)計(jì)與調(diào)度發(fā)布

數(shù)據(jù)同步

3.4.4 數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量中心通過事前定義監(jiān)控規(guī)則、事中監(jiān)控?cái)?shù)據(jù)的生成過程以及事后評(píng)估和問題追溯，圍繞完整性、一致性、準(zhǔn)確性、有效性和及時(shí)性五個(gè)方面衡量數(shù)據(jù)質(zhì)量， 并依托離線開發(fā)中心的數(shù)據(jù)質(zhì)量配置，提升企業(yè)數(shù)據(jù)價(jià)值。

現(xiàn)有數(shù)據(jù)質(zhì)量平臺(tái)功能

• 可以添加自定義質(zhì)量模板規(guī)則，模板規(guī)則支持 udf、正則
• 有質(zhì)量評(píng)估評(píng)分，可以查看表和字段的質(zhì)量評(píng)分
• 可以對(duì)臟數(shù)據(jù)進(jìn)行保存，方便查看臟數(shù)據(jù)問題
• 支持強(qiáng)規(guī)則的熔斷機(jī)制，防止臟數(shù)據(jù)影響下游數(shù)據(jù)
• 擁有試跑機(jī)制，并且可以查看試跑結(jié)果
• 指標(biāo)看板可以查看歷史的臟數(shù)據(jù)趨勢(shì)

規(guī)則列表

數(shù)據(jù)質(zhì)量指標(biāo)

數(shù)據(jù)質(zhì)量指標(biāo)

3.4.5 SLA 治理

SLA 平臺(tái)為用戶提供核心數(shù)據(jù)的申報(bào)、SLA 的在線簽署，及簽署后的 SLA 運(yùn)維管理功能，通過協(xié)同全鏈路能力，共同保障申報(bào)節(jié)點(diǎn)的數(shù)據(jù)質(zhì)量。

數(shù)據(jù)SLA

SLA 指標(biāo)

SLA指標(biāo)

3.5 IDS 中一些小的功能改造點(diǎn)或應(yīng)用項(xiàng)

以下列舉的是一些小的優(yōu)化項(xiàng)，主要是為了優(yōu)化用戶的一些使用體驗(yàn)。

1. Scripts 中腳本目錄的復(fù)制和剪切功能
2. 腳本執(zhí)行過程中，改變?nèi)蝿?wù)進(jìn)度拉取的固定頻率為漸次遞增頻率
3. 腳本文件共享機(jī)制，用戶可以共享單個(gè)（或多個(gè)腳本文件）給其他用戶，并設(shè)置該用戶對(duì)此腳本的讀寫權(quán)限。

share-file

4. 組件使用的文檔指引、及視頻教程等完善，以提供給用戶更好的使用體驗(yàn)。
5. 把 Spark 引擎的一些高級(jí)參數(shù)，增加到配置項(xiàng)中

spark-engine-conf

6. IDS 中增加用戶意見反饋一鍵發(fā)布功能

意見反饋

4. 總結(jié)

當(dāng)前階段，我們基于 DSS 和 Linkis 完成了內(nèi)部 IDS 平臺(tái)的初步構(gòu)建，獲取了部分用戶從 zeppelin 平臺(tái)過渡到 IDS 平臺(tái)的階段性成果，并為社區(qū)伙伴們，分享了我們內(nèi)部實(shí)踐過程中的一些自認(rèn)為值得說一說的點(diǎn)，以及一些小的功能或體驗(yàn)改造項(xiàng)，以期望各位在調(diào)研或初步在使用 WDS 套件的公司或團(tuán)隊(duì)，從我們的“答卷”中能獲取到一些有用的經(jīng)驗(yàn)，最后，再次感謝微眾及社區(qū)其他開發(fā)者大佬們，對(duì)我們集成過程中的解疑答惑。