《大數據實時計算引擎 Flink 實戰與性能優化》新專欄

時間 2020-01-23

標籤數據實時計算引擎 flink 實戰性能優化專欄欄目系統性能简体版

原文原文鏈接

基於 Flink 1.9 講解的專欄，涉及入門、概念、原理、實戰、性能調優、系統案例的講解。git

架構

專欄介紹

掃碼下面專欄二維碼能夠訂閱該專欄併發

首發地址：http://www.54tianzhisheng.cn/2019/11/15/flink-in-action/框架

專欄地址：https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f運維

專欄亮點

全網首個使用最新版本 Flink 1.9 進行內容講解（該版本更新很大，架構功能都有更新），領跑於目前市面上常見的 Flink 1.7 版本的教學課程。
包含大量的實戰案例和代碼去講解原理，有助於讀者一邊學習一邊敲代碼，達到更快，更深入的學習境界。目前市面上的書籍沒有任何實戰的內容，還只是講解純概念和翻譯官網。
在專欄高級篇中，根據 Flink 常見的項目問題提供了排查和解決的思惟方法，並經過這些問題探究了爲何會出現這類問題。
在實戰和案例篇，圍繞大廠公司的經典需求進行分析，包括架構設計、每一個環節的操做、代碼實現都有一一講解。

爲何要學習 Flink？

隨着大數據的不斷髮展，對數據的及時性要求愈來愈高，實時場景需求也變得愈來愈多，主要分下面幾大類：高併發

爲了知足這些實時場景的需求，衍生出很多計算引擎框架。現有市面上的大數據計算引擎的對好比下圖所示：性能

能夠發現不管從 Flink 的架構設計上，仍是從其功能完整性和易用性來說都是領先的，再加上 Flink 是阿里巴巴主推的計算引擎框架，因此從去年開始就愈來愈火了！學習

目前，阿里巴巴、騰訊、美團、華爲、滴滴出行、攜程、餓了麼、愛奇藝、有贊、惟品會等大廠都已經將 Flink 實踐於公司大型項目中，帶起了一波 Flink 風潮，勢必也會讓 Flink 人才市場產生供不該求的招聘現象。大數據

專欄內容

預備篇

介紹實時計算常見的使用場景，講解 Flink 的特性，而且對比了 Spark Streaming、Structured Streaming 和 Storm 等大數據處理引擎，而後準備環境並經過兩個 Flink 應用程序帶你們上手 Flink。spa

基礎篇

深刻講解 Flink 中 Time、Window、Watermark、Connector 原理，並有大量文章篇幅（含詳細代碼）講解如何去使用這些 Connector（好比 Kafka、ElasticSearch、HBase、Redis、MySQL 等），而且會講解使用過程當中可能會遇到的坑，還教你們如何去自定義 Connector。

進階篇

講解 Flink 中 State、Checkpoint、Savepoint、內存管理機制、CEP、Table／SQL API、Machine Learning 、Gelly。在這篇中不只只講概念，還會講解如何去使用 State、如何配置 Checkpoint、Checkpoint 的流程和如何利用 CEP 處理復瑣事件。

高級篇

重點介紹 Flink 做業上線後的監控運維：如何保證高可用、如何定位和排查反壓問題、如何合理的設置做業的並行度、如何保證 Exactly Once、如何處理數據傾斜問題、如何調優整個做業的執行效率、如何監控 Flink 及其做業？

實戰篇

教你們如何分析實時計算場景的需求，並使用 Flink 裏面的技術去實現這些需求，好比實時統計 PV／UV、實時統計商品銷售額 TopK、應用 Error 日誌實時告警、機器宕機告警。這些需求如何使用 Flink 實現的都會提供完整的代碼供你們參考，經過這些需求你能夠學到 ProcessFunction、Async I／O、廣播變量等知識的使用方式。