Spark 鍵值對RDD數據分區

3.鍵值對 RDD 數據分區   Spark 目前支持 Hash 分區和 Range 分區,用戶也能夠自定義分區,Hash 分區爲當前 的默認分區,Spark 中分區器直接決定了 RDD 中分區的個數、RDD 中每條數據通過 Shuffle 過程屬於哪一個分區和 Reduce 的個數   注意: (1)只有 Key-Value 類型的 RDD 纔有分區的,非 Key-Value 類型的 RDD 分
相關文章
相關標籤/搜索