Spark的Shuffle過程

shuffle原理： Shuffle是MapReduce框架中的一個特定的phase，介於Map phase和Reduce phase之間，當Map的輸出結果要被Reduce使用時，輸出結果需要按key哈希，並且分發到每一個Reducer上去，這個過程就是shuffle。shuflle描述着數據從map task到reduce task輸入的這段過程，如果在分佈式的情況下，reduce task需

>>阅读原文<<