開源大數據生態下的 Flink 應用實踐

時間 2019-11-21

標籤開源數據生態 flink 應用實踐简体版

原文原文鏈接

過去十年，面向整個數字時代的關鍵技術接踵而至，從被人們接受，到開始步入應用。大數據與計算做爲時代的關鍵詞已被普遍認知，算力的重要性日漸凸顯並發展成爲企業新的增加點。Apache Flink（如下簡稱 Flink）以其快速、準確的算力備受關注，如何將 Flink 更好的與大數據生態技術相結合，充分挖掘數據的潛力，真正發揮數據的價值，是大多數企業面臨的難題。後端

11 月 28-30 日，Flink Forward Asia 邀請來自阿里巴巴、戴爾科技集團、英特爾、Cloudera、趣頭條、百度、Stream Native 等不一樣方向的技術專家圍繞 Apache Flink 核心大數據生態探討當下大數據的發展趨勢與將來動向，並展示相關技術在一線生產場景的優秀實踐。微信

點擊可瞭解大會詳情，購買參會門票架構

部分精彩議題概覽

Apache Flink and the Apache Way

Fabian Hueske
Apache Flink PMC，Ververica Co-founder,
Software Engineer併發

Apache Flink is a project of the Apache Software Foundation (ASF). The ASF is the world's largest open source foundation and the home of more than 350 individual projects and initiatives.框架

Every ASF project is independently governed and managed by its own community but follows the principles of the ASF, the so-called Apache Way. Knowing the Apache Way is important to fully understand how the community of an ASF project works.運維

In this talk, I'll briefly explain the Apache Way and how ASF projects organize themselves. I'll take a look back at how the Apache Flink community started and its journey to where it is today.分佈式

Finally, I'll give you some guidance and advice that will help you to start contributing to Apache Flink and maybe become a committer at some point in the future.工具

Optimize Apache Flink on Kubernetes with YuniKorn Scheduler

楊巍威，Cloudera資深軟件工程師
楊弢，阿里巴巴技術專家性能

將 Flink 運行在 K8s 很簡單，可是當咱們嘗試在 K8s 集羣上運行大規模 Flink 的任務，並對多租戶環境和 SLA 有嚴苛要求時，各類問題開始顯現出來。尤爲是在調度層面，咱們發現 Flink 的做業調度變慢，而且資源的分配變得混亂且毫無公平性，這樣每每會致使做業餓死，或者資源浪費。因而咱們開始尋求利用 YuniKorn 來解決在 K8s 上的調度問題。學習

YuniKorn 是一個開源的，輕量級，通用的資源調度器，能夠很容易的適配到 K8s。相比原生的 K8s 調度器，YuniKorn 提供了更加豐富的調度特性，好比層級隊列、資源公平性保證、強佔以及更好的性能，更加適合大規模多租戶、長運行以及批處理做業並存的場景下使用。YuniKorn 的調度會考量應用，用戶以及隊列等各個維度的資源使用狀況，提供基於公平性原則的彈性容量配置。在這個議題中，咱們將主要從如何經過 YuniKorn 來優化 Flink 在 K8s 上的運行，包括性能、多租戶、資源公平性等方面的與你們進行探討。

趣頭條基於 Flink+ClickHouse 構建實時數據分析平臺

王金海，趣頭條數據平臺負責人

趣頭條一直致力於使用大數據分析指導業務發展。目前在實時化領域主要使用 Flink+ClickHouse 解決方案，覆蓋場景包括實時數據報表、Adhoc 即時查詢、事件分析、漏斗分析、留存分析等精細化運營策略，總體響應 80% 在 1 秒內完成，大大提高了用戶實時取數體驗，推進業務更快迭代發展。本次分享主要內容：

業務場景與現狀分析
Flink to Hive 的小時級場景
Flink to ClickHouse 的秒級場景
將來規劃

基於 Apache Flink 的邊緣流式計算

袁尤軍，百度雲資深研發工程師
黃家天，百度雲物聯網部實時計算高級研發工程師

隨着 5G 和 IoT 技術的發展，計算將從如今的雲端蔓延到更多其餘的地方，其中一個典型的場景就是邊緣計算。與雲端強大的計算集羣相比，這些場景設備的計算能力很是受限。Apache Flink 做爲新一代流式計算引擎，已經普遍應用在諸多頂級互聯網公司的雲上。但如何在資源極度受限的邊緣設備上運行流式計算引擎，尚無成功案例可循。

咱們相信 Apache Flink 不該該僅僅運行在雲端，而應該運行在任何須要設備上。本次演講，咱們將分享百度智能雲在邊緣設備上運行流式做業的一些探索，介紹如何將做業的內存消耗下降到 10M 之內，以及如何實現做業對運行環境的零依賴。會上將重點介紹百度基於 Flink 自研的邊緣流式計算框架 Creek，重點內容包括：

介紹流式計算在邊緣設備的意義和挑戰
介紹 Creek 的技術方案
展現 Creek 的性能指標
現場演示 Creek 做業的構建和運行

Apache Flink 與 Apache Hive 的集成

李銳，Apache Hive PMC，Apache Flink Contributor，阿里巴巴技術專家
王剛，阿里巴巴高級開發工程師

在大數據領域，Hive 已經成爲數據倉庫事實上的標準。爲了豐富 Flink 的生態，從 1.9.0 版本開始，咱們提供了 Flink 與 Hive 集成的能力，讓用戶能夠經過 Flink 來讀寫 Hive 中的表。在 1.9.0 發佈以後，咱們進一步完善了 Flink-Hive 集成的功能，包括支持更全面的數據類型、更好地支持 DDL 以及 Function 等。

在新版本中，咱們能夠支持更多的應用場景，並提供更好的易用性。本次演講將介紹 Flink-Hive 集成的設計架構、項目進展以及後續版本中的新功能。最後，咱們還將演示如何使用 Flink 與 Hive 進行交互。

開源大數據生態專場完整議程

除上述議題外，開源大數據生態專場還有來自戴爾科技集團、英特爾、Stream Native 等重量級嘉賓以及 Apache Member、Apache Flink PMC、Apache Calcite Committer 等帶來的更加精彩的分享。完整議程以下：

（11 月 28 日下午，專場議程）

（11 月 29 日上午，專場議程）

深度培訓，實現技術與應用能力的積累提高

11 月 11-14 日，Flink Forward Asia 培訓課程門票買一贈一，限時 3 天！點擊閱讀原文預定培訓課程，而後加微信（ID：candy1764）提供共同參加培訓的小夥伴名單，活動時間截止 11 月 14 日中午 12:00，數量有限，贈完即止，對培訓心動的同窗趕忙下手啦！

Apache Flink PMC 帶隊，超豪華陣容，阿里巴巴及 Flink 創始團隊資深技術專家擔任培訓講師，爲開發者培訓課程制定全面學習體系。

課程可以知足不一樣學習需求，不管是入門仍是進階，開發者可根據自身基礎選擇課程內容，實現技術與應用能力上的積累與提高。

課程主要大綱以下：

中階一：Apache Flink 開發人員培訓

Tips：本課程爲純英文授課，同時配有2位中文技術專家支持解答問題。

本課程是對想要學習構建流應用程序的 Java 和 Scala 開發人員進行的關於 Apache Flink 的實踐介紹。培訓將重點介紹分佈式數據流、事件時間和狀態等核心概念。練習將使您有機會了解以上概念在 API 中是如何被體現的，並瞭解如何將這些概念組合用以解決實際問題。

介紹流計算和 Apache Flink
DataStream API 的基礎
爲 Flink 開發作準備(包括練習)
有狀態的流處理(包括練習)
時間、定時器和 ProcessFunction(包括練習)
鏈接多個流(包括練習)
測試(包括練習)

說明：不須要 Apache Flink 的相關知識。

中階二：Apache Flink 運維培訓

本課程是針對 Apache Flink 應用程序的部署和操做相關的實踐性介紹。目標受衆包括負責部署 Flink 應用程序和維護 Flink 集羣的開發人員和運維人員。演示將重點介紹 Flink 運行中涉及的核心概念，以及用於部署、升級和監控 Flink 應用程序的主要工具。

介紹流計算和 Apache Flink
數據中內心的 Flink
分佈式架構介紹
容器化部署(包括實際操做)
狀態後端和容錯(包括實際操做)
升級和狀態遷移(包括實際操做)
指標(包括實踐)
容量規劃

說明：不須要對 Apache Flink 有先驗知識。

中階三：SQL 開發人員培訓

Apache Flink 支持 SQL 做爲流處理和批處理的統一 API。SQL 能夠用於各類各樣的場景，而且相比使用 Flink 的底層 API，SQL 將更容易構建和維護。在本次培訓中，您將學習到如何充分發揮使用 SQL 來編寫 Apache Flink 做業的潛力。咱們將研究流式 SQL 的不一樣案例，包括鏈接流數據、維表關聯、窗口聚合、維護物化視圖，以及使用 MATCH RECOGNIZE 子句進行模式匹配（這是 SQL 2016 新提出的標準）。

介紹 SQL on Flink
使用 SQL 查詢動態表
鏈接動態表
模式匹配與 match_recognition
生態系統&寫外部表

說明：不須要 Apache Flink 的先驗知識，可是須要基本的 SQL 知識。

高階：Apache Flink 調優和問題排查

在過去的幾年中，咱們與許多 Flink 用戶合做溝通期間瞭解到許多將流計算做業從早期 PoC 階段慢慢過渡到生產過程當中最多見的挑戰。在這次培訓中，咱們將集中精力介紹這些挑戰，而且幫助你們一塊兒消除它。咱們將提供一個有用的故障診斷工具集，並介紹例如監控、水印、序列化、狀態後端等領域的最佳實踐和技巧。在實踐課程的間隙中,參與者將有機會使用新學習到的知識來解決一些異常 Flink 做業表現出來的問題。同時，咱們也將概括那些使做業沒有進展或吞吐量沒有達到預期，或做業延遲的常見緣由。