[AI人工智能] (it猿課)Python3實戰Spark大數據分析及調度

[AI人工智能] (it猿課)Python3實戰Spark大數據分析及調度
it猿課(www.ityuanke.com)大量優質it課程，愛學習的程序員 都在這
點擊這查看課程請添加連接描述
1-1 PySpark導學試看
1-2 OOTB環境演示
第2章 實戰環境搭建
工欲善其事必先利其器，本章講述JDK、Scala、Hadoop、Maven、Python3以及Spark源碼編譯及部署

2-1 -課程目錄
2-2 -Java環境搭建
2-3 -Scala環境搭建
2-4 -Hadoop環境搭建
2-5 -Maven環境搭建
2-6 -Python3環境部署
2-7 -Spark源碼編譯及部署
第3章 Spark Core核心RDD
本章詳細講解RDD是什麼以及特性(面試常考)、Spark中兩個核心類SparkContext和SparkConf、pyspark啓動腳本分析、RDD的建立方式以及如何使用IDE開發Python Spark應用程序並提交到服務器上運行

3-1 -課程目錄
3-2 -RDD是什麼
3-3 -經過電影描述集羣的強大之處
3-4 -RDD的五大特性
3-5 -RDD特性在源碼中的體現試看
3-6 -圖解RDD
3-7 -SparkContext&SparkConf詳解
3-8 -pyspark
3-9 -RDD建立方式一
3-10 -RDD建立方式二
3-11 -使用IDE開發pyspark應用程序
3-12 -提交pyspark做業到服務器上運行
第4章 Spark Core RDD編程
本章將針對RDD中經常使用的算子進行詳細案例講解，並進行綜合案例實戰

4-1 -課程目錄
4-2 -RDD經常使用操做
4-3 -map算子使用詳解
4-4 -filter算子詳解
4-5 -flatMap算子詳解
4-6 -groupByKey算子詳解
4-7 -reduceByKey算子詳解
4-8 -sortByKey算子詳解
4-9 -union算子使用詳解
4-10 -distinct算子使用詳解
4-11 -join算子詳解
4-12 -action經常使用算子詳解
4-13 -算子綜合案例實戰一詞頻統計
4-14 -算子綜合案例實戰之詞頻統計重構
4-15 -算子綜合案例實戰之TopN統計
4-16 -算子綜合案例實戰之平均數統計
第5章 Spark運行模式
本章將介紹Spark的幾種運行模式，須要重點掌握on YARN模式

5-1 -課程目錄
5-2 -local模式運行
5-3 -standalone模式環境搭建及pyspark運行
5-4 -standalone模式spark-submit運行
5-5 -yarn運行模式詳解
第6章 Spark Core進階
本章將介紹Spark中的核心術語、運行架構、並對比Spark和MapReduce的概念區分、存儲策略及選擇方式、寬窄依賴及Shuffle

6-1 -課程目錄
6-2 -Spark核心概念詳解
6-3 -結合Spark UI詳解Spark核心概念試看
6-4 -Spark運行架構及注意事項
6-5 -Spark和Hadoop重要概念區分
6-6 -Spark緩存的做用
6-7 -Spark緩存概述
6-8 -Spark緩存策略詳解
6-9 -Spark緩存策略選擇依據
6-10 -Spark Lineage機制
6-11 -Spark窄依賴和寬依賴
6-12 -Spark Shuffle概述
6-13 -圖解RDD的shuffle以及依賴關係
第7章 Spark Core調優
本章將從Spark做業性能指標、序列化、內存管理、廣播變量及數據本地化這幾個方面來介紹Spark做業的調優

7-1 -課程目錄
7-2 -優化之HistoryServer配置及使用
7-3 -優化之序列化
7-4 -優化以內存管理
7-5 -優化之廣播變量
7-6 -優化之數據本地性
第8章 Spark SQL
本章將講解Spark SQL的架構、DataFrame&Dataset、以及如何使用Python API來對DataFrame進行編程

8-1 -課程目錄
8-2 -Spark SQL前世此生
8-3 -Spark SQL概述&錯誤認識糾正
8-4 -Spark SQL架構
8-5 -DataFrame&Dataset詳解
8-6 -DataFrame API編程
8-7 -RDD與DataFrame互操做方法一
8-8 -RDD與DataFrame互操做方法二
8-9 -Spark SQL其餘
第9章 Spark Streaming
本章將講解Spark Streaming的核心概念、執行原理、以及如何Python API來對Spark Streaming進行編程

9-1 -課程目錄
9-2 -Spark Streaming概述
9-3 -實時流處理框架對比
9-4 -Spark Streaming執行原理
9-5 -從詞頻統計案例來了解SparkStreaming
9-6 -核心概念之StreamingContext
9-7 -核心概念之DStream及經常使用操做
9-8 -SparkStreaming操做文件系統數據實戰
第10章 Azkaban基礎篇
本章將講解Azkaban的特性、架構、運行模式、源碼編譯及部署、快速入門

10-1 Azkaban基礎篇課程目錄
10-2 -工做流概述
10-3 -工做流在大數據處理中的重要性
10-4 -經常使用調度框架介紹
10-5 -Azkaban概述及特性
10-6 -Azkaban架構
10-7 -Azkaban運行模式詳解
10-8 -Azkaban源碼編譯
10-9 -Azkaban solo server環境部署
10-10 -Azkaban快速入門案例
第11章 Azkaban實戰篇
本章將講解如何使用Azkaban來完成HDFS、MapReduce、Hive做業的調度、定時做業調度以及郵件告警

11-1 -Azkaban實戰篇課程目錄
11-2 -依賴做業在Azkaban中的使用
11-3 -HDFS做業在Azkaban中的使用
11-4 -MapReduce做業在Azkaban中的使用
11-5 -Hive做業在Azkaban中的使用
11-6 -定時調度做業在Azkaban中的使用
11-7 -郵件告警及SLA在Azkaban中的使用
第12章 Azkaban進階篇
本章將講解Azkaban在生產上的部署、權限管理、Ajax API、Plugin、以及短信和調度框架的二次開發

12-1 -Azkaban進階篇課程目錄
12-2 -Two Server Mode之數據庫準備工做
12-3 -Two Server Mode之AzkabanWebServer搭建
12-4 -Two Server Mode之AzkabanExecServer搭建
12-5 -Two Server Mode之使用實戰
12-6 -Azkaban權限管理
12-7 -Azkaban中AJAX API使用
12-8 -Azkaban Plugin的使用
12-9 -Azkaban中短信告警改造思路
12-10 Azbakan在生產上使用的改造思路
第13章 項目實戰
本章將講解在構建大數據平臺的技術選型、集羣升級資源評估，並使用Spark對氣象數據進行分析，講分析結果寫入ES，並經過Kibana進行統計結果的可視化展現

13-1 -課程目錄
13-2 -大數據項目開發流程
13-3 -大數據企業級應用
13-4 -企業級大數據分析平臺
13-5 -集羣數據量預估
13-6 -集羣機器規模&資源&做業規劃
13-7 -項目需求
13-8 -數據加載成DataFrame並選出須要的列
13-9 -SparkSQL UDF函數開發
13-10 -每一年Grade出現的次數統計
13-11 -Grade在每一年中的佔比統計
13-12 -ES部署及使用
13-13 -Kibana部署及使用
13-14 -將做業運行到YARN上
13-15 -統計分析結果寫入ES測試
13-16 -統計分析結果入ES並經過Kibana圖形化展現
13-17 -做業
13-18 -經過Azkaban調度整個流程
13-19 -課程總結及展望(重點關注)

Spark大數據, python3實戰課程