隨着數據量的爆發,AI走上風口,典型的大數據業務場景下數據業務最通用的作法是:選用批計算的技術處理全量數據,採用流計算的技術處理實時增量數據。在生產環境中,用戶一般採用批處理和流處理兩套計算引擎來支持這兩種場景。弊端就是須要寫兩套代碼,維護兩套引擎,毫無疑問,這種架構帶來了額外的負擔與成本。編程
面對全量數據和增量數據,可否用一套統一的大數據引擎技術來處理?架構
Apache Flink 被業界公認爲最好的流計算引擎,其計算能力不單單侷限於作流處理,而是一套兼具流、批、機器學習等多種計算功能的大數據引擎,用戶只需根據業務邏輯開發一套代碼,不管是全量數據仍是增量數據,亦或者實時處理,一套方案便可所有支持。爲了讓你們更全面地瞭解 Apache Flink 背後的技術以及應用實踐,今天,咱們首次免費公開 Apache Flink 系列視頻課程。框架
2018年市場調查報告顯示 Apache Flink 是2018年開源大數據生態中發展「最快」的引擎,相較於2017年增加了125% 。Flink 的社區生態在不斷髮展壯大,在中國,愈來愈多的互聯網公司在生產環境中採用Flink解決實時計算、流計算、風控等問題,於是,學習 Flink 迫在眉睫。機器學習
這次免費公開課共分爲9個課時,課程內容包含 Flink 的基礎架構、應用場景、集羣部署、運行機制、編程範式,爲你係統地拆分講解大數據計算開發引擎Flink。分佈式
Apache Flink系列課程免費公開,課程獲取,點擊Apache Flink社區官網Ververica(點擊可跳轉),便可免費觀看,每週Apache Flink社區大羣直播,傳播Flink最全技能性能
關鍵詞:Flink 的重要性學習
課程開篇由阿里巴巴高級產品專家,實時計算產品團隊負責人陳守元(巴真)開講,從開設Apache Flink 系列課程的初衷、Apache Flink 的定義/架構/原理以及學前準備與學習方法與你分享如何高效學習 Flink 系列課程。大數據
關鍵詞:Apache Flink PMC、有狀態的流式處理命令行
本節課程由 Apache Flink PMC、Ververica Software Engineer 戴資力與你探討 Flink 做爲有狀態的流式處理引擎的核心概念應當如何理解,Flink 與其餘大數據引擎的區別是什麼?爲何要使用 Flink 以及有狀態的流式處理引擎面臨哪些挑戰?設計
關鍵詞:開發 Flink 必經第一課
破解「知易行難」的方法是實戰,第三節內容由阿里巴巴高級開發工程師沙晟陽帶你從Flink開發環境的部署、配置、運行,以及不一樣模式的應用場景入手,示範如何快速正確安裝應用Flink,併爲你提供了實際應用中可能出現的問題與相應的解決方案。
關鍵詞:社區網紅、深刻淺出、通俗易懂
第四節課程開始涉及實際開發,DataStream API是Flink中較爲核心的內容,本節由Apache Flink Committer、加拿大約克大學博士後崔星燦現身分享,課程將帶你回顧 DataStream API 的概念、設計等基礎知識,用示例展現 DataStreamAPI 實用開發技巧並剖析 DataStream API 的部分源碼,方便你們快速上手。
關鍵詞:客戶端操做全面使用指南
第五節課程是客戶端操做的全面使用指南,由阿里巴巴技術專家周凱波(寶牛)視頻演示Flink 的客戶端操做,從演示環境、界面、Flink 命令行以及 Flink 的5種任務提交方式進行示範,爲後續開發打好基礎。
關鍵詞:Window的數據流程
第六節課程主要講述Window 相關的概念,課程由阿里巴巴高級開發工程師邱從賢分享,從 Window的基本概念、核心組件以及如何處理亂序數據、遲到數據等講解,並用代碼帶你一塊兒梳理整個 Window 的數據流程。
關鍵詞:必聽課程
第七節課程由美團點評的研發工程師孫夢瑤分享,從狀態管理的基本概念,Flink 狀態的類型與使用示例、容錯機制與故障恢復以及企業應當如何選擇狀態的類型和存儲方式等方面分享並給出參考建議。
關鍵詞:SQL 性能中很是核心的部分
Table API 是 Flink 的 SQL 性能中很是核心的部分,本節內容由 Apache Flink Contributor、阿里巴巴高級研發工程師程鶴羣分享,對 TableAPI 基本概念、特性進行講解的同時從 Table API 編程、WordCount 示例、Table API 操做用代碼進行示範並分享了 Table API 的社區動態。
關鍵詞:一年成爲 Committer,「Flink學習博客第一站」
Apache Flink系列課程最後一節由Apache Flink Committer、阿里巴巴高級開發工程師伍翀(雲邪)分享 Flink SQL 編程的相關內容,從如何在流上運行 SQL 查詢、如何使用 SQL CLI 客戶端、如何使用 SQL CLI 消費Kafka數據、如何用 SQL 將結果寫入Kafka和ElasticSearch,帶你入門 Flink SQL 編程。
實現從0到1瞭解 Flink 創建 Flink 的系統框架體系,爲大數據引擎學習打下基礎。
經過實際案例,帶你快速上手 Flink 這個分佈式、高性能、高可用、高精確的爲數據流應用而生的開源流式處理框架,帶你領略計算之美。
課程內容側重於原理解析與基礎應用,經過對Flink流計算的概念、技術原理、實踐操做等詳細解析,從最實際的應用場景出發引導你深刻了解Flink,幫助你從 Flink 小白成長爲 Flink 技術專家。
課程內容既包含 Flink 相關企業使用者的經驗分享,又有 Flink 核心開發者的理論實踐,既有廣度分享亦有深度探討,實乃大數據愛好者學習 Flink 的居家旅行必備良藥!
——巴真(阿里巴巴高級產品專家)
從媒體的最新資訊推送,到購物狂歡的實時數據大屏,甚至城市級計算的工業大腦,實時計算已經應用到了多個生活、工做場景,隨着業務的快速增加,企業對大數據處理的需求愈來愈高,Flink的應用也愈來愈普遍,相信在不久的未來,Flink將會成爲各行業不一樣規模企業主流的大數據處理框架,並最終成爲下一代大數據處理框架的標準。越早學習,越能抓住時代先機。