Apache Spark分佈式計算原理

Spark WordCount原理 爲什麼需要劃分Stage 數據本地化 移動計算，而不是移動數據 保證一個Stage內不會發生數據移動 根據是否發生了數據移動判斷是否劃分了階段 Spark Shuffle過程 在分區之間重新分配數據 父RDD中同一分區中的數據按照算子要求重新進入子RDD的不同分區中 中間結果寫入磁盤 由子RDD拉取數據，而不是由父RDD推送 默認情況下，Shuffle不會改變分

>>阅读原文<<