Spark中鍵值對RDD數據分區

Spark目前支持Hash分區和Range分區，用戶也能夠自定義分區，Hash分區爲當前的默認分區，Spark中分區器直接決定了RDD中分區的個數、RDD中每條數據通過Shuffle過程屬於哪一個分區和Reduce的個數apache 注意：數組 (1)只有Key-Value類型的RDD纔有分區器的，非Key-Value類型的RDD分區的值是None (2)每一個RDD的分區ID範圍：0~numPa

>>阅读原文<<