Spark學習入門

 Spark 是一種「One Stack to rule them all」通用的大數據計算框架,指望使用一個技術棧就完美地

解決大數據領域的各類計算任務。

Spark特色：速度快、容易上手開發、超強的通用性、集成Hadoop、極高的活躍度。

 

 

 Spark的速度比MapReduce快：MR計算模型太死板，並且裏面最好性能的就是shuffle，shuffle

中間的過程都是基於磁盤來讀寫的。而Spark是基於內存進行計算的。

Spark缺陷：Spark是基於內存進行計算的，若是數據量太大，沒有調優的狀況下，會出現OOM。

可是此時MR儘管運行速度慢，可是其能夠完成任務。

 Spark替代的是Hive的查詢引擎，而不是Hive的所有！！！

 

 

 Spark Streaming嚴格意義上來講，是一種準實時的計算框架。而Storm是真正意義上的實時計算框架。

Spark Streaming的吞吐量遠遠比Storm大。