Spark中的鍵值對操作-scala

1.PairRDD介紹     Spark爲包含鍵值對類型的RDD提供了一些專有的操作。這些RDD被稱爲PairRDD。PairRDD提供了並行操作各個鍵或跨節點重新進行數據分組的操作接口。例如,PairRDD提供了reduceByKey()方法,可以分別規約每個鍵對應的數據,還有join()方法,可以把兩個RDD中鍵相同的元素組合在一起,合併爲一個RDD。 2.創建Pair RDD     程序
相關文章
相關標籤/搜索