企業實踐 | 如何更好地使用 Apache Flink 解決數據計算問題？

時間 2019-11-08

標籤企業實踐如何更好使用 apache flink 解決數據計算問題欄目 Apache 简体版

原文原文鏈接

業務數據的指數級擴張，數據處理的速度可不能跟不上業務發展的步伐。基於 Flink 的數據平臺構建、運用 Flink 解決業務場景中的具體問題等隨着 Flink 被更普遍的應用於廣告、金融風控、實時 BI、實時數倉、實時推薦等多種業務場景，在生產實踐中已有豐富的案例與優秀的經驗。docker

Flink Forward Asia 倒計時 28 天，企業實踐專題大會邀請了字節跳動、滴滴出行、快手、Bilibili、網易、愛奇藝、中國農業銀行、奇虎360、貝殼找房、奇安信等不一樣行業一線技術專家分享 Apache Flink 與大數據基礎平臺建設進展和實踐，詳細解讀大數據相關技術在各行業的應用與落地，包括應用場景、業務痛點、面臨挑戰、如何破局等寶貴實踐經驗。後端

點擊下方連接可提早了解更多有趣議程：
https://developer.aliyun.com/special/ffa2019-conference?spm=a2c6h.13239638.0.0.21f2795503PjxQ安全

部分精彩議題

《Apache Flink 在字節跳動的實踐與優化》

Speaker：張光輝@字節跳動

主要介紹字節跳動最近在 Flink 上作的相關實踐與優化工做，主要分 6 個部分來介紹，分別是：架構

1.Flink SQL 的應用和擴展;
2.Flink 負載均衡調度，分兩個階段，分別在 Yarn 分配 Container 階段，在 Flink 內部 TaskScheduler 階段；
3.Flink on docker on Yarn 解決基礎環境隔離問題；
4.Flink CEP 多 Pattern 匹配和動態加載，爲安全和風控團隊提供支持；
5.提高 Checkpoint/Savepoint 易用性；
6.Flink BugFix & 優化：Flink Netty 網路鏈接單向斷開致使 hang 住；異步申請啓動 Container，加快提交速度；Flink JVM 參數配置優化；Flink Client 端和 TM端類加載機制不一樣等。負載均衡

·運維

《Apache Flink 在中國農業銀行的探索和實踐》

Speaker：侯鑫磊@中國農業銀行

Apache Flink 做爲新一代批流計算引擎，在金融科技應用愈來愈普遍，本次分享主要介紹農業銀行以 Apache Flink 做爲混合計算引擎，在反欺詐、系統異常檢測、實時數據統計等應用中進行的探索和實踐。內容包括：機器學習

1.Flink 在農業銀行的使用場景
2.實踐介紹，Flink 的做用和性能
3.Flink 應用效果
4.將來展望異步

·分佈式

《B 站基於 Flink 的平臺化探索與實踐》

Speaker：鄭志升@Bilibili

B 站早期的實時計算需求，多數是各業務線根據個性化定製的做坊形式，而隨着需求量加大以及做坊式效率的低下，2017 年末 Saber 大數據實時計算平臺誕生，建設近兩年主要解決了基於 Flink 和 Spark 的實時 SQL IDE 及少許應用層 DAG IDE，應用於監控、實時 BI 分析及實時報表等場景。工具

而在 2018 年中切入了機器學習的實時工程領域，並提供給 AI、搜索及廣告等各個 BU，用於實時模型訓練的多流會話窗口 Join、維表數據 Join 的場景，以及大窗口下實時特徵工程的探索與支持。更多內容詳見本次分享。目錄大綱四部分：

1.背景與現狀
2.實時計算平臺的演進
3.結合 AI 的工程探索與實踐
4.挑戰與將來

《基於 Flink 構建 CEP 引擎的挑戰和實踐》

Speaker：韓鵬@奇安信

在大數據領域，根據業務需求和特色來作技術決策已經成爲技術選型和開發的基本原則，本演講主要介紹奇安信集團如何根據大數據安全分析的業務特色基於 Flink 來設計和實現一個獨立的 CEP（ComplexEvent Process）引擎，這個引擎和 Flink-CEP 的不一樣點，以及在研發過程當中遇到和解決的技術問題。

企業實踐專題完整議程

11月28日下午，企業實踐專題分享

11月29日上午，企業實踐專題分享

深度培訓，作技術實力派

大會組委會還爲使用 Flink、但願深度學習的開發者們精心準備了培訓課程。屆時，來自阿里巴巴和 Ververica 的 Flink 專家們將帶領開發者開展爲期一天半的深度學習。

Apache Flink PMC 帶隊，超豪華陣容，阿里巴巴及 Flink 創始團隊資深技術專家擔任培訓講師，爲開發者培訓課程制定全面學習體系。
課程可以知足不一樣學習需求，不管是入門仍是進階，開發者可根據自身基礎選擇課程內容，實現技術與應用能力上的積累與提高。

課程主要大綱以下：

中階一：Apache Flink 開發人員培訓

本課程是對想要學習構建流應用程序的 Java 和 Scala 開發人員進行的關於 Apache Flink 的實踐介紹。培訓將重點介紹分佈式數據流、事件時間和狀態等核心概念。練習將使您有機會了解以上概念在 API 中是如何被體現的，並瞭解如何將這些概念組合用以解決實際問題。

介紹流計算和 Apache Flink
DataStream API 的基礎
爲 Flink 開發作準備(包括練習)
有狀態的流處理(包括練習)
時間、定時器和 ProcessFunction(包括練習)
鏈接多個流(包括練習)
測試(包括練習)

說明：不須要 Apache Flink 的相關知識。

中階二：Apache Flink 運維培訓

本課程是針對 Apache Flink 應用程序的部署和操做相關的實踐性介紹。目標受衆包括負責部署 Flink 應用程序和維護 Flink 集羣的開發人員和運維人員。演示將重點介紹 Flink 運行中涉及的核心概念，以及用於部署、升級和監控 Flink 應用程序的主要工具。

介紹流計算和 Apache Flink
數據中內心的 Flink
分佈式架構介紹
容器化部署(包括實際操做)
狀態後端和容錯(包括實際操做)
升級和狀態遷移(包括實際操做)
指標(包括實踐)
容量規劃

說明：不須要對 Apache Flink 有先驗知識。

中階三：SQL 開發人員培訓

Apache Flink 支持 SQL 做爲流處理和批處理的統一 API。SQL 能夠用於各類各樣的場景，而且相比使用 Flink 的底層 API，SQL 將更容易構建和維護。在本次培訓中，您將學習到如何充分發揮使用 SQL 來編寫 Apache Flink 做業的潛力。咱們將研究流式 SQL 的不一樣案例，包括鏈接流數據、維表關聯、窗口聚合、維護物化視圖，以及使用 MATCH RECOGNIZE 子句進行模式匹配（這是 SQL 2016 新提出的標準）。

介紹 SQL on Flink
使用 SQL 查詢動態表
鏈接動態表
模式匹配與 match_recognition
生態系統&寫外部表

說明：不須要 Apache Flink 的先驗知識，可是須要基本的 SQL 知識。

高階：Apache Flink 調優和問題排查

在過去的幾年中，咱們與許多 Flink 用戶合做溝通期間瞭解到許多將流計算做業從早期 PoC 階段慢慢過渡到生產過程當中最多見的挑戰。在這次培訓中，咱們將集中精力介紹這些挑戰，而且幫助你們一塊兒消除它。咱們將提供一個有用的故障診斷工具集，並介紹例如監控、水印、序列化、狀態後端等領域的最佳實踐和技巧。在實踐課程的間隙中,參與者將有機會使用新學習到的知識來解決一些異常 Flink 做業表現出來的問題。同時，咱們也將概括那些使做業沒有進展或吞吐量沒有達到預期，或做業延遲的常見緣由。