Spark Shuffle過程詳細分析

在MapReduce中shuffle和Spark的shuffle的過程有一些區別。這裏做一下具體的介紹。 Mapreduce的shuffle過程圖解 Spark shuffle過程圖解 注意:spark shuffle過程中沒有分區和排序的過程，而且存儲結果存儲在內存中，所以速度要比mapreduce要快很多。 先就到這裏吧，圖解的說明應該比較清晰了。有問題歡迎留言 本文轉自  ChinaUnic

>>阅读原文<<