Spark shuffle原理和詳細圖解

shuffle 中Map任務產生的結果會根據所設置的partitioner算法填充到當前執行任務所在機器的每個桶中。  Reduce任務啓動時時，會根據任務的ID，所依賴的Map任務ID以及MapStatus從遠端或本地的BlockManager獲取相應的數據作爲輸入進行處理。 Shuffle數據必須持久化磁盤，不能緩存在內存。 Hash方式： shuffle不排序，效率高。 生成MXR個shuf

>>阅读原文<<