Apache DolphinScheduler 畢業成爲 Apache 首個由國人主導的大數據工做流調度領域頂級項目

時間 2021-04-10

標籤 git github apache 微信架構分佈式性能學習測試大數據欄目 Apache 简体版

原文原文鏈接

全球最大的開源軟件基金會 Apache 軟件基金會（如下簡稱 Apache）於北京時間 2021 年 4 月 9 日在官方渠道宣佈 Apache DolphinScheduler 畢業成爲 Apache 頂級項目。這是首個由國人主導並貢獻到 Apache 的大數據工做流調度領域的頂級項目。git

DolphinScheduler™ 已是聯通、IDG、IBM、京東物流、聯想、新東方、諾基亞、360、順豐和騰訊等 400+ 公司在使用的分佈式可視化大數據工做流調度系統。github

DolphinScheduler 於 2019 年 8 月 29 日由易觀捐贈給 Apache 並啓動孵化。以後在導師的指導下，由孵化器管理委員會成員進行輔導和孵化，在 2021 年 2 月 19 日在 Apache 孵化器以 8 票支持一次性經過畢業提案投票。3 月 18 日，Apache 董事會經過 DolphinScheduler 畢業決議，結束了爲期 18 個月的孵化，正式肯定 DolphinScheduler 成爲 Apache 頂級項目。apache

2021 年 4 月 9 日由 Apache 市場副總裁 Sally Khudairi 在 Apache 軟件基金會各渠道官號上發佈官方通告。微信

關於 Apache DolphinScheduler

Apache DolphinScheduler 是一個分佈式易擴展的帶有強大可視化 DAG 界面的新一代工做流調度平臺，自 17 年在立項之初就肯定了使命 - 「解決大數據任務之間錯綜複雜的依賴關係，使整個數據處理過程直觀可見」，今後配置工做流程不再須要寫代碼啦！架構

DolphinScheduler 架構分佈式

做爲強大的帶有有向無環圖（DAG）可視化界面的分佈式大數據工做流調度平臺，Dolphin Scheduler 解決了複雜的任務依賴關係和簡化了數據任務編排的工做。它以開箱即用的、易於擴展的方式將衆多大數據生態組件鏈接到可處理 100,000 級別的數據任務調度系統中來。性能

Apache DolphinScheduler 是全球頂尖架構師與社區承認的數據調度平臺，把複雜性留給本身，易用性留給用戶，總體有以下特徵：學習

雲原生設計：支持多雲、多數據中心的跨端調度，同時也支持K8s Docker部署與擴展，性能上能夠線性增加，在用戶測試狀況下最高已經支持10萬的並行任務控制；
高可用：去中心化的多Master/Worker的架構，能夠自動任務平衡，自動高可用，確保任務在任何節點死機的狀況下能夠具備完整性完成總體調度；
用戶友好的界面：可視化的DAG圖，包括子任務，條件調度、腳本管理、多租戶等方便功能，並具備讓運行任務實例與任務模板分開，讓你的平臺維護人員和數據科學家都有一個方便易用的開發和管理平臺；
支持多種數據場景：支持流數據處理，批數據處理，暫停、回覆、多租戶等，對於spark，hive，MR，flink，clickhouse等等平臺均可以方便直接調用。

DolphinScheduler 在短短 1 年半孵化時間裏就能收穫如此多用戶和其一直倡導的 Slogan 是分不開的：測試

是的，調用用的對，半夜真能安心睡！最終 Apache Dolphin Scheduler 得到大量用戶，例如中國聯通、IBM中國，京東物流，聯想，新東方，順豐快遞等等，400 多個用戶都在線上使用：大數據

Apache DolphinScheduler開始了新的起點！

DolphinScheduler 在設計之初就秉承着大道至簡、產品易用易維護的核心理念，以高可用、易擴展做爲架構底座，通過諸多打磨，得到了用戶羣體的確定，而後纔在 2019年 3 月正式對外開源，8 月 29 日成功進入到 Apache 孵化器，成爲國內首個 Apache 大數據調度項目，屢次登錄 github 月度趨勢榜並引發 Hacker News 上的熱烈討論。在 2020 年, DolphinScheduler 也得到了諸多讚譽，InfoQ 中國技術力量年度榜單評其爲「十大開源新銳項目」和「最具人氣開源新銳項目」，榮獲開源中國年度「最佳技術團隊」等稱號。DolphinScheduler社區已經有龐大的 4000+ 人的用戶羣，據不徹底統計，截止 2020 年 10 月，已經有 400+ 家公司將 DolphinScheduler 用在生產環境，DolphinScheduler 在各個領域上持續發光發熱！

DolphinScheduler 發展歷程

在 Apache 孵化過程當中，學習並實踐 Apache Way, 真正體會到了 Apache 文化的精髓「Comuunity Over Code」，社區基於代碼，卻又大於代碼，須要在代碼之上去思考如何協做、如何溝通，如何讓 Community 健康持續的向前發展。正是這不斷的思考，使得 DolphinScheduler 在結束孵化投票上沒有遇到任何 challenge，能夠說是出乎意料的順利。

畢業成爲頂級項目見證了過去一年半以來來自 Apache DolphinScheduler 社區衆多貢獻者和用戶的日日夜夜的努力，自從進入 Apache 孵化器以來，DolphinScheduler 社區共加入了 14 位 Commiter、2 位 PMC，也在社區的共同努力下發布了 8 個 Apache Releases，感謝給予辛勤支持和無數幫助的各位導師、貢獻者、用戶和及 Apache 孵化器的支持。

成爲頂級項目，只是 Apache DolphinScheduler 新的起點，還有更多的挑戰等待着各位社區的小夥伴和用戶多多的支持，咱們但願將來可讓中國優秀的開源項目走向世界，讓世界都瞭解國內也有頂尖的開源項目，最後也感謝各位大咖對於 Apache DolphinScheduler 項目的幫助和祝福。咱們也在此拜謝各位，也但願各位一如既往的支持 Apache DolphinScheduler 項目走向全球！

新一代大數據調度 - DolphinScheduler 的相關資源