Spark Streaming實時流處理項目實戰

第1章 課程介紹
課程介紹

第2章 初識實時流處理
本章節將從一個業務場景分析出發引出實時流處理的產生背景，對比離線處理和實時處理的區別，瞭解經常使用的實時流處理框架有哪些，實時流處理在企業級應用中各個環節的架構以及技術選型

第3章 分佈式日誌收集框架Flume
本章節將從經過一個業務場景出發引出Flume的產生背景，將講解Flume的架構及核心組件，Flume環境部署以及Flume Agent開發實戰讓你們學會如何使用Flume來進行日誌的採集

第4章 分佈式發佈訂閱消息系統Kafka
本章節將講解Kafka的架構以及核心概念，Kafka環境的部署及腳本的使用，Kafka API編程，並經過Kafka容錯性測試讓你們體會到Kakfa的高可用性，並將Flume和Kafka整合起來開發一個功能

第5章 實戰環境搭建
工欲善其事必先利其器，本章將講解Hadoop、ZooKeeper、HBase、Spark的安裝，以及如何使用IDEA整合Maven/Spark/HBase/Hadoop來搭建咱們的開發環境

第6章 Spark Streaming入門
本章節將講解Spark Streaming是什麼，瞭解Spark Streaming的應用場景及發展史，並從詞頻統計案例入手帶你們瞭解Spark Streaming的工做原理

第7章 Spark Streaming核心概念與編程
本章節將講解Spark Streaming中的核心概念、經常使用操做，經過Spark Streaming如何操做socket以及HDFS上的數據讓你們進一步瞭解Spark Streaming的編程

第8章 Spark Streaming進階與案例實戰
本章節將講解Spark Streaming如何處理帶狀態的數據，經過案例讓你們知道Spark Streaming如何寫數據到MySQL，Spark Streaming如何整合Spark SQL進行操做

第9章 Spark Streaming整合Flume
本章節將講解Spark Streaming整合Flume的兩種方式，講解如何在本地進行開發測試，如何在服務器上進行測試

第10章 Spark Streaming整合Kafka
本章節將講解Spark Streaming整合Kafka的兩種方式，講解如何在本地進行開發測試，如何在服務器上進行測試

第11章 Spark Streaming整合Flume&Kafka打造通用流處理基礎
本章節將經過實戰案例完全打通Spark Streaming和Flume以及Kafka的綜合使用，爲後續項目實戰打下堅實的基礎

第12章 Spark Streaming項目實戰
本章節將經過一個完整的項目實戰讓你們學會大數據實時流處理的各個環境的整合，如何根據業務須要來設計HBase的rowkey

第13章 可視化實戰
本章節將經過兩種方式來實現實時流處理結果的可視化操做，一是使用Spring Boot整合Echarts實現，二是使用更加炫酷的阿里雲產品DataV來實現

第14章 Java拓展
本章節做爲擴展內容，將帶領你們使用Java來開始Spark應用程序，使得你們對於使用Scala以及Java來開發Spark應用程序都有很好的認識

 

下載地址:百度網盤下載