Apache Flink 爲何可以成爲新一代大數據計算引擎？

時間 2020-02-07

標籤 apache flink 爲何可以成爲新一代數據計算引擎欄目 Apache 简体版

原文原文鏈接

衆所周知，Apache Flink（如下簡稱 Flink）最先誕生於歐洲，2014 年由其創始團隊捐贈給 Apache 基金會。如同其餘誕生之初的項目，它新鮮，它開源，它適應了快速轉的世界中更重視的速度與靈活性。後端

大數據時代對人類的數據駕馭能力提出了新的挑戰，Flink 的誕生爲企業用戶得到更爲快速、準確的計算能力提供了史無前例的空間與潛力。做爲公認的新一代大數據計算引擎，Flink 究竟以何魅力成爲阿里、騰訊、滴滴、美團、字節跳動、Netflix、Lyft 等國內外知名公司建設流計算平臺的首選？架構

聽聽 Flink 的核心貢獻者們怎麼說！11 月 28-30 日，Flink Forward Asia 2019，Apache Flink 核心貢獻者與業界資深專家帶你全方位解鎖 Flink 的獨特技術魅力。併發

驚喜環節：ASK ME ANYTHING

提早劇透：大會現場將邀請 Apache Flink 核心貢獻者們設置 Ask Me Anything 驚喜環節，Flink SQL、Runtime、Hive 等任何關於 Flink 的技術問題能夠現場提問！運維

Flink 親爹 Stephan 同窗也可能參與現場互動哦，若是你好奇 Flink 的 logo 爲何是小松鼠就能夠當面舉手提問啦～分佈式

核心技術專場部分精彩議題概覽

《將 Apache Flink 用做一體化的數據處理平臺》

崔星燦，Apache Flink Committer，York University 博士後工具

做爲新一代的流處理引擎，Apache Flink 已經普遍應用於不少實時做業場景中。咱們發現它在通過近幾個版本的迭代後，已經具有一些成爲一體化數據處理平臺的潛力，可同時用來處理動態和靜態的數據，進行分佈式和集中式計算，以及支持做業式和交互式任務等。性能

本次演講，咱們旨在向你們展現一些探索性質的嘗試——將 Apache Flink 用做某一通用數據處理流程的一體化後端平臺。具體而言，咱們會首先介紹這一通用的數據處理流程，並簡要描述它每一個階段的特色。隨後，咱們會詳細解釋如何在不觸及 Flink 核心的前提下對其進行「塑造」，以知足多樣化的數據處理需求。在此期間還會涉及部分對 Flink 運行機制的講解。最後，基於將 Flink 打形成爲一個真正的一體化數據處理平臺這一目標，咱們將對將來工做進行一些展望。學習

《Bring Cross DC and Cross Data Source SQL Engine to Apache Flink》

張韶全，騰訊 Senior Engineer測試

漂移計算 SuperSQL 是騰訊大數據自研的跨數據中心、跨集羣、跨數據源的高性能大數據 SQL 引擎，知足對位於不一樣數據中心/集羣的不一樣類型數據源的數據聯邦分析/即時查詢的需求。解決大數據中數據孤島難題，下降數據使用壁壘，提高數據使用效率，最大化數據價值。大數據

在這個演講中，咱們會介紹漂移計算 SuperSQL 項目的細節，包括：

漂移計算的背景和定位
漂移計算的主要技術挑戰
漂移計算的總體架構
漂移計算的技術細節
漂移計算的性能表現
將來規劃

《New Flink source API: Make it easy》

秦江傑，Apache Flink PMC，Apache Kafka PMC，阿里巴巴高級技術專家

Flink 已經擁有了豐富的 connector 生態，可是要爲 Flink 建立一個生產可用的 connector 依然須要考慮包括多併發協同，一致性語義，線程模型和容錯等在內的一系列問題，而其中 Source 相對於 Sink 又更爲複雜。爲了讓用戶更容易實現高質量的 connector，Flink 社區在 FLIP-27 中引入了一個新的 Flink Source API，旨在幫用戶解決上述一系列複雜問題，讓用戶能夠快速編寫一個高質量的 connector。本演講將介紹新的 Flink Source API 的設計思路以及如何利用新的 Source Connector API 快速建立一個生產可用的 Flink source connector。

《深刻探索 Flink SQL 流批統一的查詢引擎與最佳實踐》

伍翀，Apache Flink Committer，阿里巴巴技術專家
李勁鬆，Apache Beam Committer，阿里巴巴技術專家

Flink SQL 做爲 Apache Flink 的核心模塊，已經收穫了愈來愈多用戶的關注，而且以其易於使用的 API 和高性能的 SQL 引擎，在生產實踐中扮演者愈來愈重要的角色。

該演講將以最新發布的 Flink SQL 爲切入點，分別從流處理和批處理的角度，重點分享 Flink SQL 中核心功能的技術細節和調優經驗，聽衆將收穫對 Flink SQL 更深刻的理解，以及瞭解如何對 Flink SQL 做業進行調優。

Apache Flink 核心技術專場完整議程

（11 月 28 日下午）

（11 月 29 日上午）

深度培訓，實現技術與應用能力的積累提高

大會組委會還爲使用 Flink、但願深度學習的開發者們精心準備了培訓課程。屆時，來自阿里巴巴和 Ververica 的 Flink 專家們將帶領開發者開展爲期一天半的深度學習。

Apache Flink PMC 帶隊，超豪華陣容，阿里巴巴及 Flink 創始團隊資深技術專家擔任培訓講師，爲開發者培訓課程制定全面學習體系。
課程可以知足不一樣學習需求，不管是入門仍是進階，開發者可根據自身基礎選擇課程內容，實現技術與應用能力上的積累與提高。

課程主要大綱以下：

中階一：Apache Flink 開發人員培訓

本課程是對想要學習構建流應用程序的 Java 和 Scala 開發人員進行的關於 Apache Flink 的實踐介紹。培訓將重點介紹分佈式數據流、事件時間和狀態等核心概念。練習將使您有機會了解以上概念在 API 中是如何被體現的，並瞭解如何將這些概念組合用以解決實際問題。

介紹流計算和 Apache Flink
DataStream API 的基礎
爲 Flink 開發作準備(包括練習)
有狀態的流處理(包括練習)
時間、定時器和 ProcessFunction(包括練習)
鏈接多個流(包括練習)
測試(包括練習)

說明：不須要 Apache Flink 的相關知識。

中階二：Apache Flink 運維培訓

本課程是針對 Apache Flink 應用程序的部署和操做相關的實踐性介紹。目標受衆包括負責部署 Flink 應用程序和維護 Flink 集羣的開發人員和運維人員。演示將重點介紹 Flink 運行中涉及的核心概念，以及用於部署、升級和監控 Flink 應用程序的主要工具。

介紹流計算和 Apache Flink
數據中內心的 Flink
分佈式架構介紹
容器化部署(包括實際操做)
狀態後端和容錯(包括實際操做)
升級和狀態遷移(包括實際操做)
指標(包括實踐)
容量規劃

說明：不須要對 Apache Flink 有先驗知識。

中階三：SQL 開發人員培訓

Apache Flink 支持 SQL 做爲流處理和批處理的統一 API。SQL 能夠用於各類各樣的場景，而且相比使用 Flink 的底層 API，SQL 將更容易構建和維護。在本次培訓中，您將學習到如何充分發揮使用 SQL 來編寫 Apache Flink 做業的潛力。咱們將研究流式 SQL 的不一樣案例，包括鏈接流數據、維表關聯、窗口聚合、維護物化視圖，以及使用 MATCH RECOGNIZE 子句進行模式匹配（這是 SQL 2016 新提出的標準）。

介紹 SQL on Flink
使用 SQL 查詢動態表
鏈接動態表
模式匹配與 match_recognition
生態系統&寫外部表

說明：不須要 Apache Flink 的先驗知識，可是須要基本的 SQL 知識。

高階：Apache Flink 調優和問題排查

在過去的幾年中，咱們與許多 Flink 用戶合做溝通期間瞭解到許多將流計算做業從早期 PoC 階段慢慢過渡到生產過程當中最多見的挑戰。在這次培訓中，咱們將集中精力介紹這些挑戰，而且幫助你們一塊兒消除它。咱們將提供一個有用的故障診斷工具集，並介紹例如監控、水印、序列化、狀態後端等領域的最佳實踐和技巧。在實踐課程的間隙中,參與者將有機會使用新學習到的知識來解決一些異常 Flink 做業表現出來的問題。同時，咱們也將概括那些使做業沒有進展或吞吐量沒有達到預期，或做業延遲的常見緣由。