Spark的鍵值對RDD數據分區器和數據讀取與保存

鍵值對RDD數據分區器 Spark目前支持Hash分區和Range分區，用戶也能夠自定義分區，Hash分區爲當前的默認分區，Spark中分區器直接決定了RDD中分區的個數、RDD中每條數據通過Shuffle過程屬於哪一個分區和Reduce的個數java 注意： (1)只有Key-Value類型的RDD纔有分區器的，非Key-Value類型的RDD分區器的值是None (2)每一個RDD的分區ID範

>>阅读原文<<