Spark -- RDD數據分區(分區器)

Spark – RDD數據分區 Spark目前支持Hash分區和Range分區，用戶也能夠自定義分區，Hash分區爲當前的默認分區，Spark中分區器直接決定了RDD中分區的個數、RDD中每條數據通過Shuffle過程屬於哪一個分區和Reduce的個數web 注意：sql (1)只有Key-Value類型的RDD纔有分區器的，非Key-Value類型的RDD分區器的值是None (2)每一個RDD

>>阅读原文<<