年度回顧 | 2019 年的 Apache Flink

2019 年即將落下帷幕，這一年對於 Apache Flink 來講是很是精彩的一年，里程碑式的一年。隨着這一年在郵件列表發送了超過 1 萬封郵件，JIRA 中超過 4 千個 tickets，以及 GitHub 上超過 3 千個 PR，Apache Flink 迎來了快速的發展。筆者做爲一名全職在 Flink 社區工做的成員，表示想要跟上社區的最新狀態着實不太容易。

本文筆者將帶你們一塊兒回顧下 Flink 所通過的 2019 年，感覺 Flink 蓬勃發展的同時，咱們也將展望 2020 年。

大事記

筆者整理了 2019 年對於 Flink 社區而言發生的一些大事件（若有遺漏，敬請諒解）。

2019 年初，一篇阿里巴巴正式向 Apache Flink 貢獻 Blink 源碼的新聞點燃了社區，這也是 Apache Flink 在這一年能有如此快速發展的關鍵，此事件也直接加速了許多用戶期待已久的功能快速落地，如 Hive 集成、更好的 Python 支持，高性能的批處理等等。

這一年，Apache Flink 保持着以往的快節奏，發佈了兩個大版本：Flink 1.8 和 Flink 1.9，以及即將發佈的 Flink 1.10。Flink 1.10 已經進入了測試階段，並有望於春節前與你們見面。Flink 1.9 和 Flink 1.10 是社區迄今爲止所經歷過的最大版本（見下圖），從解決的 issue 數和提交的 commit 數上看，1.9 與 1.10 都已經達到了之前版本的兩倍之多，並且也能夠預見將來 Flink 還將保持着如此高速發展的態勢。同時單版本的貢獻者數量也在穩步增加中，說明愈來愈多的開發者加入到了社區中。值得一提的是，阿里巴巴經過 1.9 和 1.10 兩個版本，歷經 1 年左右將 Blink 中比較通用的部分都悉數回饋給了 Apache Flink 社區，回饋總代碼量一百多萬行。從郵件討論與代碼提交上看，國內貢獻者正扮演者愈來愈重要的做用。

除此以外，Flink GitHub 倉庫的 Star 數也早在 8 月份就突破了 1 萬的里程碑。而且僅 2019 年一年的時間，Star 數就實現了翻番。

user@ 和 dev@ 郵件列表的活動代表了社區很是活躍，而且 user-zh@ 雖然年初才投入使用但也正在變得愈來愈活躍。從 2018 年同期的數字來看，dev@ 郵件列表的活動量激增最快，郵件和獨立用戶的數量平均增加了 2.5 倍，這很好地反映了上文提到的 Flink 代碼庫的極度活躍。

從 Apache 軟件基金會在 2019 財年報告中，也能印證 Flink 的活躍，報告中提到 Flink：

• 最活躍的郵件列表（user@ + dev@）：第一
• GitHub 訪問流量：第三
• 提交 commits 數：第五

與往年同樣，今年 Flink 社區在北美（舊金山）、歐洲（柏林）、亞洲（北京）三地分別舉辦了 Flink Forward 大會，其中北京場到會人次突破 2000，同比增長了100%。

在 11 月份，社區發佈了 Flink 生態網站（flink-packages.org），旨在推進圍繞 Apache Flink 的生態建設，用於收集三方包並方便用戶查找，包括鏈接器、類庫、擴展等等。但願 flink-packages.org 能成爲社區用於探索 Flink 插件的地方，並讓專一於插件貢獻者們得到用戶的承認，從而可持續地打造更好的 Flink 生態。

社區發展

隨着 Flink 社區貢獻量的猛增，社區在 2019 年也有條不紊地邀請了 6 位 PMC member 以及 8 位 Committer。

• 新增 Committers:Bowen Li，Andrey Zagrebin,Zili Chen，Hequn Cheng, Jiangjie (Becket) Qin, Rong Rong, Zhijiang Wang, Zhu Zhu。
• 新增 PMC member: Jincheng Sun, Kete (Kurt) Young, Kostas Kloudas, Thomas Weise, Jiangjie (Becket) Qin, Jark Wu。

今年 Flink 社區的一個亮點就是擁抱了中文社區。年初的時候，就創建了中文郵件列表，從上文的郵件列表活躍圖上也能看出國內用戶對於中文郵件列表的接受度仍是很高的。在 5 月份的時候，Flink 中文學習網站（ververica.cn)上線了，與此同時，中文社區微信公衆號（Ververica）也同步上線。截止目前，微信公衆號訂閱量已突破一萬。

從另外的維度也能看出中文社區的熱情，在 Flink 官網（flink.apache.org）流量統計中，來自中國的流量佔了所有流量的 24% ，位列全部國家之首。下圖是 Flink 官網的流量分佈圖，圖中不只反映了 2019 年的總體流量要遠高於往年，更有意思的是圖中標出的兩個流量波谷，其中第一個波谷正好是聖誕節，第二個更大的波谷剛好是中國的春節。從中也能看出中文社區影響力之大。

中文社區之因此能在國際開源項目中扮演愈來愈重要的做用，離不開這一年 Flink 中文社區的努力。據統計，Flink 中文社區在 2019 年共舉辦了 10 場 Meetup，橫跨了北上深杭等多個城市，其中最大的北京場超過了 500 人蔘加。而且出品了 36 場 Flink 中文直播課程，覆蓋了從基礎到進階到運維的各個方面，累積播放量達16萬多。在此感謝每一位講師以及工做人員爲中文社區作出的貢獻！

展望 2020 年

Flink 1.10 版本即將在 2020 年初與你們見面，1.10 版本能夠看做一個比較重要的里程碑式版本，至此，Blink 功能都已經進入 Flink，包括 Blink 中比較關鍵的設計和通用的優化。該版本包含如下主要功能：

1. SQL DDL 加強，支持在建表語句中定義計算列和 watermark。
2. 生產級別的 Batch 支持與 Hive 兼容，其中 TPC-DS 10T 的性能是 Hive 3.0 的 7 倍。
3. 更增強大的 Python 支持，支持 Python UDF。
4. 支持原生 K8S 集成。
5. 新增多個主流機器學習算法庫，包括邏輯迴歸，隨機森林，KMeans 等。

隨着 Blink 的核心功能都已逐步貢獻到 Flink，相信咱們對 Flink 的將來有了更多的期盼，期盼 Flink 在 2020 年能帶給咱們更多的驚喜，固然這離不開社區中每一位同窗的努力，也但願能有更多的人加入到社區中！

若是您想密切關注社區中發生的事情，請關注微信公衆號（Ververica）以獲取詳細的每週更新、即將舉辦的活動、最新的技術文章與直播課程等。

做者介紹：伍翀（雲邪），Apache Flink PMC，阿里巴巴技術專家，北京理工大學碩士畢業，2015 年加入阿里巴巴，參與阿里巴巴實時計算引擎 JStorm 的開發與設計。2016 年開始從事阿里新一代實時計算引擎 Blink SQL 的開發與優化，並活躍於 Flink 社區，Flink/Blink SQL 模塊的核心開發之一。目前主要專一於分佈式處理和實時計算，熱愛開源，熱愛分享。

---

本文做者：伍翀（雲邪）

閱讀原文

本文爲阿里雲內容，未經容許不得轉載。