Spark知識整理

Spark是什麼?

基於內存計算的大數據並行計算框架

2009年誕生

全棧多計算範式的高效數據流水線

 

Spark相比MapReduce的優點

1.中間結果輸出

2.數據格式和內存佈局

3.執行策略

4.任務調度的開銷

 

Spark生態系統BDAS

 Berkeley Data Analytics Stack

 

Spark架構

Spark計算模型

RDD(transformation  and action)

算子分類：value型Transformation算子（map，union，filter，cache），key-value型Transformation算子（mapValues，reduceByKey，join），action算子（foreach，saveAsTextFile，collect，count，reduce）