Spark中鍵值對RDD數據分區|數據讀取與保存|Text文件|Json文件|Sequence文件|Object對象文件

鍵值對RDD數據分區 Spark目前支持Hash分區和Range分區，和用戶自定義分區。Hash分區爲當前的默認分區。分區器直接決定了RDD中分區的個數、RDD中每條數據通過Shuffle後進入哪一個分區和Reduce的個數。 （1）只有Key-Value類型的RDD纔有分區器，非Key-Value類型的RDD分區的值是None （2）每一個RDD的分區ID範圍：0~numPartitions-1

>>阅读原文<<