Spark2.0_Spark全面精講（基於Spark2版本+含Spark調優+超多案例）

Spark全面精講（基於Spark2版本+含Spark調優+超多案例）
課程觀看地址：http://www.xuetuwuyou.com/course/149
課程出自學途無憂網：http://www.xuetuwuyou.com/

課程分五個階段，共115課時！

第一階段 Spark內核深度剖析

第00節課-課程特點和學習方式
第一節課-Spark概述（四大特性）
第二節課-Spark入門
第三節課-什麼是RDD？
第四節課-spark架構
第五節課-linux環境準備（虛擬機，linux）
第六節課-hadoop環境準備
第七節課-spark環境準備
第八節課-spark開發環境搭建（java，scala）
第八節課-補充-maven打包
第九節課-spark任務提交
第十節課--Historyserver配置
第十一節課--RDD的建立方式
第十二節課--Transformation和action原理剖析
第十三節課--map，filter，flatMap算子演示（java版）
第十四節課--groupByKey,reduceByKey,sortByKey算子演示（java版）
第十五節課--join，cogroup,union算在演示（java版本）
第十六節課--Intersection，Distinct，Cartesian算子演示（java版本）
第十七節課--mapPartition，reparation，coalesce算子演示（java版）
第十八節課--sample，aggregateByke算子演示（java版本）
第十九節課--mapPartitionsWithIndex,repartitionAndSortWithinPartitions算子演示（java）
第二十節課--action算子演示（java版）
第二十一節課--map,filter,flatMap,groupByKey,reduceByKey,sortByKey算子演示（scala)
第二十二節課--join,cogroup,union,intersection,distinct,cartesian算子演示（scala)
第二十三節課--mapPartitions,reparition,coalesce,sample,aggregateByKey算子演示(scala)
第二十四節課-mapPartitionsWithIndex,repartitionAndSortWithinPartitions算子演示(scala)
第二十五節課-RDD持久化（tachyon）
第二十六節課--共享變量（廣播變量，累加變量）
第二十七節課-Spark on YARN模式（cluster,client）
第二十八節課-窄依賴和寬依賴
第二十九節課--Shuffle原理剖析
第三十節課--stage劃分原理剖析
第三十一節課-Spark任務調度
第三十二節課--綜合案例一TopN（scala）
第三十三節課--綜合案例二日誌分析上(scala)
第三十三節課--綜合案例二日誌分析下(scala)
第三十四節課--spark2內核新特性

第二階段 Spark調優

第三十五節課-Spark調優概述
第三十六節課-開發調優(1)
第三十七節課-開發調優(2)
第三十八節課-開發調優(3)
第三十九節課-開發調優(4)
第四十節課-開發調優(5)
第四十一節課-開發調優(6)
第四十二節課-開發調優(7)
第四十三節課-開發調優(8)
第四十四節課-開發調優(9)
第四十五節課-數據本地化
第四十六節課-數據傾斜原理
第四十七節課-數據傾斜解決方案一
第四十八節課-數據傾斜解決方案二
第四十九節課-數據傾斜解決方案三
第五十節課-數據傾斜解決方案四
第五十一節課-數據傾斜解決方案五
第五十二節課-數據傾斜解決方案六
第五十三節課-數據傾斜解決方案七
第五十四節課-shuffle調優
第五十五節課-Spark資源模型
第五十六節課-資源調優
第五十七節課-Spark JVM調優(1)
第五十八節課-Spark JVM調優(2)
第五十九節課-Spark JVM調優(3)
第六十節課-Spark JVM調優(4)
第六十一節課-Spark JVM調優(5)
第六十二節課-spark調優總結

第三階段 SparkSQL精講

第六十三節課-SparkSQL前世此生
第六十四節課-Dataframe使用
第六十五節課-Reflection方式將RDD轉換成Dataframe
第六十六節課-Programmatically方式將RDD轉換成DataFrame
第六十七節課-DataFreme VS RDD
第六十八節課-數據源之數據load和save
第六十九節課-數據源之parquetfile操做
第七十節課-數據源之JSON數據
第七十一節-課數據源之JDBC
第七十二節課-數據源之Hive table-hive環境搭建
第七十三節課-數據源之Hive table-spark環境集成
第七十四節課-數據源之Hive table-使用
第七十五節課-數據源之HBase環境準備
第七十六節課-數據源之HBase
第七十七節課-Thriftserver使用
第七十八節課-UDF開發
第七十九節課-UADF開發
第八十節課-開窗函數
第八十一節課-groupBy和agg函數使用
第八十二節課-綜合案例一（日誌分析）
第八十三節課-綜合案例二(用戶行爲分析)-1
第八十四節課-綜合案例二(用戶行爲分析)-2
第八十五節課-綜合案例二(用戶行爲分析)-3
第八十六節課-綜合案例二(用戶行爲分析)-4
第八十七節課-綜合案例二(用戶行爲分析)-5

第四階段 SparkStreaming精講

第八十八節課-Spark Streaming工做原理
第八十九節課-Spark Streaming入門案例
第九十節課-Spark Streaming HDFS WordCount例子演示
第九十一節課-Spark Streaming之updateStateByKey
第九十二節課-Spark Streaming之mapWithState
第九十三節課-Spark Streaming之transform
第九十四節課-Spark Streaming之window操做
第九十五節課-Spark Streaming之foreachRDD
第九十六節課-Spark Streaming之flume原理介紹
第九十七節課-Spark Streaming之flume搭建
第九十八節課-Spark Streaming之flume集成
第九十九節課-Spark Streaming之kafka原理介紹
第一百節課-Spark Streaming之kafka集成
第一百零一節課-Spark Streaming之kafka集羣部署
第一百零二節課-Spark Streaming之綜合案例TopN實時統計
第一百零三節課-Spark Streaming之Driver HA配置

第五階段 Spark2新特性

第一百零四節課-Spark2新特性之 Spark2設計目標-更容易、更快速、更智能
第一百零五節課-Spark2 新特性之SparkSQL變化之 SparkSession
第一百零六節課-Spark2新特性之whole-stage code generation和vectorization技術剖析
第一百零七節課-Spark2 新特性之RDD，DataFream 和DataSet關係
第一百零八節課-Spark2 新特性之DataSet Transformation演示（1）
第一百零九節課-Spark2 新特性之DataSet Action演示（2）
第一百一十節課-Spark2 新特性之DataSet 基本操做演示（3）
第一百一十一節課-Spark2 新特性之DataSet[untyped ] 基本操做演示（4）
第一百一十二節課-Spark2 新特性之DataSet其它功能演示（5）
第一百一十三節課-Spark2 新特性之 Structured Streaming設計目標
第一百一十四節課-Spark2 新特性之 Structured Streaming原理剖析
第一百一十五節課-Spark2 新特性之 Structured Streaming 案例演示

相關課程推薦：
深刻淺出Spark機器學習實戰（用戶行爲分析） 
課程觀看地址：http://www.xuetuwuyou.com/course/144

Spark+Kafka 實時流機器學習實戰
課程觀看地址：http://www.xuetuwuyou.com/course/147