spark Shuffle過程分析

普通shuffle過程 shuffle過程是spark運算的重要過程，也是spark調優的關鍵地方之一，在spark中的reduceByKey，groupByKey，sortByKey，countByKey，join，cogroup等操作時，都會觸發shuffle過程。shuffle過程發生在shuffleMapTask與resultTask之間，當shuffleMapTask的輸出數據先放到內存

>>阅读原文<<