Spark Shuffle原理解析

Spark Shuffle原理解析   一：到底什麼是Shuffle？          Shuffle中文翻譯爲「洗牌」，需要Shuffle的關鍵性原因是某種具有共同特徵的數據需要最終匯聚到一個計算節點上進行計算。   二：Shuffle可能面臨的問題？運行Task的時候纔會產生Shuffle（Shuffle已經融化在Spark的算子中了）。 1， 數據量非常大； 2， 數據如何分類，即如何Pa

>>阅读原文<<