Spark速度比MapReduce快,不僅是內存計算

作爲Hadoop的分佈式計算框架,MapReduce扮演着分佈式計算的任務,適用於離線批計算任務。Spark本身不具備存儲數據功能,通常基於HDFS。我們經常會在各類文章中看到類似這樣的描述:Spark是基於內存計算的,其速度遠快於Hadoop的MapReduce。本文旨在討論這一結論背後的原因。 一、Spark內存計算 VS MapReduce讀寫磁盤 MapReduce:MapReduce通常
相關文章
相關標籤/搜索