Spark的Shuffle過程介紹

Spark的Shuffle過程介紹 Shuffle Writer Spark豐富了任務類型，有些任務之間數據流轉不須要經過Shuffle，可是有些任務之間仍是須要經過Shuffle來傳遞數據，好比wide dependency的group by key。 Spark中須要Shuffle輸出的Map任務會爲每一個Reduce建立對應的bucket，Map產生的結果會根據設置的partitioner獲

>>阅读原文<<