Spark和MR對比

MR的迭代:api Spark中的迭代:框架    一、spark把運算的中間數據存放在內存，迭代計算效率更高；mapreduce的中間結果須要落地，須要保存到磁 盤，這樣必然會有磁盤io操作，影響性能。 二、spark容錯性高，它經過彈性分佈式數據集RDD來實現高效容錯，RDD是一組分佈式的存儲在節點內存中的只 讀性質的數據集，這些集合是彈性的，某一部分丟失或者出錯，能夠經過整個數據集的計算流程

>>阅读原文<<