全球最大的開(kāi)源軟件基金會(huì) Apache 軟件基金會(huì)(以下簡(jiǎn)稱 Apache)于北京時(shí)間 2021 年 4 月 9 日在官方渠道宣布 Apache DolphinScheduler 畢業(yè)成為 Apache 頂級(jí)項(xiàng)目。這是首個(gè)由國(guó)人主導(dǎo)并貢獻(xiàn)到 Apache 的大數(shù)據(jù)工作流調(diào)度領(lǐng)域的頂級(jí)項(xiàng)目。

DolphinScheduler™ 已經(jīng)是聯(lián)通、IDG、IBM、京東物流、聯(lián)想、新東方、諾基亞、360、順豐和騰訊等 400+ 公司在使用的分布式可視化大數(shù)據(jù)工作流調(diào)度系統(tǒng)。

DolphinScheduler 于 2019 年 8 月 29 日由易觀捐贈(zèng)給 Apache 并啟動(dòng)孵化。之后在導(dǎo)師的指導(dǎo)下，由孵化器管理委員會(huì)成員進(jìn)行輔導(dǎo)和孵化，在 2021 年 2 月 19 日在 Apache 孵化器以 8 票支持一次性通過(guò)畢業(yè)提案投票。3 月 18 日，Apache 董事會(huì)通過(guò) DolphinScheduler 畢業(yè)決議，結(jié)束了為期 18 個(gè)月的孵化，正式確定 DolphinScheduler 成為 Apache 頂級(jí)項(xiàng)目。

2021 年 4 月 9 日由 Apache 市場(chǎng)副總裁 Sally Khudairi 在 Apache 軟件基金會(huì)各渠道官號(hào)上發(fā)布官方通告。

關(guān)于 Apache DolphinScheduler

Apache DolphinScheduler 是一個(gè)分布式易擴(kuò)展的帶有強(qiáng)大可視化 DAG 界面的新一代工作流調(diào)度平臺(tái)，自 17 年在立項(xiàng)之初就確定了使命 - “解決大數(shù)據(jù)任務(wù)之間錯(cuò)綜復(fù)雜的依賴關(guān)系，使整個(gè)數(shù)據(jù)處理過(guò)程直觀可見(jiàn)”，從此配置工作流程再也不需要寫(xiě)代碼啦!

DolphinScheduler 架構(gòu)

作為強(qiáng)大的帶有有向無(wú)環(huán)圖(DAG)可視化界面的分布式大數(shù)據(jù)工作流調(diào)度平臺(tái)，Dolphin Scheduler 解決了復(fù)雜的任務(wù)依賴關(guān)系和簡(jiǎn)化了數(shù)據(jù)任務(wù)編排的工作。它以開(kāi)箱即用的、易于擴(kuò)展的方式將眾多大數(shù)據(jù)生態(tài)組件連接到可處理 100,000 級(jí)別的數(shù)據(jù)任務(wù)調(diào)度系統(tǒng)中來(lái)。

• Apache DolphinScheduler是全球頂尖架構(gòu)師與社區(qū)認(rèn)可的數(shù)據(jù)調(diào)度平臺(tái)，把復(fù)雜性留給自己，易用性留給用戶，整體有如下特征：
• 云原生設(shè)計(jì)：支持多云、多數(shù)據(jù)中心的跨端調(diào)度，同時(shí)也支持K8s Docker部署與擴(kuò)展，性能上可以線性增長(zhǎng)，在用戶測(cè)試情況下最高已經(jīng)支持10萬(wàn)的并行任務(wù)控制;
• 高可用：去中心化的多Master/Worker的架構(gòu)，可以自動(dòng)任務(wù)平衡，自動(dòng)高可用，確保任務(wù)在任何節(jié)點(diǎn)死機(jī)的情況下可以具有完整性完成整體調(diào)度;
• 用戶友好的界面：可視化的DAG圖，包括子任務(wù)，條件調(diào)度、腳本管理、多租戶等方便功能，并具有讓運(yùn)行任務(wù)實(shí)例與任務(wù)模板分開(kāi)，讓你的平臺(tái)維護(hù)人員和數(shù)據(jù)科學(xué)家都有一個(gè)方便易用的開(kāi)發(fā)和管理平臺(tái);
• 支持多種數(shù)據(jù)場(chǎng)景：支持流數(shù)據(jù)處理，批數(shù)據(jù)處理，暫停、回復(fù)、多租戶等，對(duì)于spark，hive，MR，flink，clickhouse等等平臺(tái)都可以方便直接調(diào)用。

DolphinScheduler 在短短 1 年半孵化時(shí)間里就能收獲如此多用戶和其一直倡導(dǎo)的 Slogan 是分不開(kāi)的：

最終Apache Dolphin Scheduler獲得大量用戶，例如中國(guó)聯(lián)通、IBM中國(guó)，京東物流，聯(lián)想，新東方，順豐快遞等等，400多個(gè)用戶都在線上使用：

是的，調(diào)用用的對(duì)，半夜真能安心睡!

Apache DolphinScheduler開(kāi)始了新的起點(diǎn)!

DolphinScheduler 在設(shè)計(jì)之初就秉承著大道至簡(jiǎn)、產(chǎn)品易用易維護(hù)的核心理念，以高可用、易擴(kuò)展作為架構(gòu)底座，經(jīng)過(guò)諸多打磨，獲得了用戶群體的肯定，然后才在 2019年 3 月正式對(duì)外開(kāi)源，8 月 29 日成功進(jìn)入到 Apache 孵化器，成為國(guó)內(nèi)首個(gè) Apache 大數(shù)據(jù)調(diào)度項(xiàng)目，多次登陸 github 月度趨勢(shì)榜并引起 Hacker News 上的熱烈討論。在 2020 年, DolphinScheduler 也獲得了諸多贊譽(yù)，InfoQ 中國(guó)技術(shù)力量年度榜單評(píng)其為 “十大開(kāi)源新銳項(xiàng)目” 和 “最具人氣開(kāi)源新銳項(xiàng)目”，榮獲開(kāi)源中國(guó)年度 “最佳技術(shù)團(tuán)隊(duì)” 等稱號(hào)。DolphinScheduler社區(qū)已經(jīng)有龐大的 4000+ 人的用戶群，據(jù)不完全統(tǒng)計(jì)，截止 2020 年 10 月，已經(jīng)有 400+ 家公司將 DolphinScheduler 用在生產(chǎn)環(huán)境，DolphinScheduler 在各個(gè)領(lǐng)域上持續(xù)發(fā)光發(fā)熱!

DolphinScheduler 發(fā)展歷程

在 Apache 孵化過(guò)程中，學(xué)習(xí)并實(shí)踐 Apache Way, 真正體會(huì)到了 Apache 文化的精髓 “Comuunity Over Code”，社區(qū)基于代碼，卻又大于代碼，需要在代碼之上去思考如何協(xié)作、如何溝通，如何讓 Community 健康持續(xù)的向前發(fā)展。正是這不斷的思考，使得 DolphinScheduler 在結(jié)束孵化投票上沒(méi)有遇到任何 challenge，可以說(shuō)是出乎意料的順利。

畢業(yè)成為頂級(jí)項(xiàng)目見(jiàn)證了過(guò)去一年半以來(lái)來(lái)自 Apache DolphinScheduler 社區(qū)眾多貢獻(xiàn)者和用戶的日日夜夜的努力，自從進(jìn)入 Apache 孵化器以來(lái)，DolphinScheduler 社區(qū)共加入了 14 位 Commiter、2 位 PMC，也在社區(qū)的共同努力下發(fā)布了 8 個(gè) Apache Releases，感謝給予辛勤支持和無(wú)數(shù)幫助的各位導(dǎo)師、貢獻(xiàn)者、用戶和及 Apache 孵化器的支持。

成為頂級(jí)項(xiàng)目，只是 Apache DolphinScheduler 新的起點(diǎn)，還有更多的挑戰(zhàn)等待著各位社區(qū)的小伙伴和用戶多多的支持，我們希望未來(lái)可以讓中國(guó)優(yōu)秀的開(kāi)源項(xiàng)目走向世界，讓世界都了解國(guó)內(nèi)也有頂尖的開(kāi)源項(xiàng)目，最后也感謝各位大咖對(duì)于 Apache DolphinScheduler 項(xiàng)目的幫助和祝福。我們也在此拜謝各位，也希望各位一如既往的支持 Apache DolphinScheduler 項(xiàng)目走向全球!

新一代大數(shù)據(jù)調(diào)度 - DolphinScheduler 的相關(guān)資源

DolphinScheduler 官網(wǎng): https://dolphinscheduler.apache.org

DolphinScheduler github：https://github.com/apache/incubator-dolphinscheduler

DolphinScheduler Twitter: https://twitter.com/dolphinschedule

DolphinScheduler Slack 討論頻道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw

DolphinScheduler 微信公眾號(hào): 海豚調(diào)度

微信用戶群添加微信號(hào): easyworkflow