shuffle過程詳解（spark與mr）

spark-shuffle與MapReduce shuffle MR shuffle 1、map端 2、reduce端 配置調優 map端的調優屬性： reduce端的調優屬性 spark shuffle 一.定義 二.演變 三.Hash Shuffle V1 有多少個reduce任務就會產生多少箇中間文件（一個task--->所產生的文件數量=== reduce task數量） Hash Shu

>>阅读原文<<