【Spark】Spark 存儲原理--shuffle 過程

本篇結構： Spark Shuffle 的發展 Spark Shuffle 中數據結構 Spark Shuffle 原理 後記 Spark Shuffle 是 spark job 中某些算子觸發的操作。當 rdd 依賴中出現寬依賴的時候，就會觸發 Shuffle 操作，Shuffle 操作通常會伴隨着不同 executor/host 之間數據的傳輸。 Shuffle 操作可能涉及的過程包括數據的排

>>阅读原文<<