spark學習筆記一

一.spark與hadoop比較 Spark是一個計算框架相當於Hadoop的MapReduce。Hadoop中是包含計算框架MapReduce和分佈式文件系統HDFS,更廣泛的講是還包含其生態系統上的其他系統比如Hbase和Hive等。 Spark相比MapReduce的優點: 1.中間結果的輸出 (1)MapReduce的話計算結果會產生很多stage,並且會依賴底層HDFS文件系統來存儲每個
相關文章
相關標籤/搜索