一:hadoop和spark的區別

hadoop是基於磁盤的,它的運算結果保存在磁盤當中;而spark的運算是基於內存的。因此spark的運算速度是 hadoop的100倍;即使在磁盤當中運算,spark也是hadoop的10倍左右,原因就是spark具有優秀的作業調度策略。 故spark的速度快與hadoop的兩個原因: (1)spark是基於內存,hadoop基於磁盤: 在hadoop中HDFS用於數據的存儲,MapReduce
相關文章
相關標籤/搜索