Spark pairRDD的建立與轉化

鍵值對RDD是Spark中許多操做的常見數據類型,鍵值對RDD一般用來進行聚合計算,通常先經過ETL 抽取,轉化,裝載操做來將數據轉化爲鍵值對形式,這類RDD稱爲 pair RDD ,提供了並行操做各個鍵或跨節點從新進行數據分組java ——建立pair RDD函數 在Spark中有多種建立pair RDD的方式,不少存儲鍵值對的數據格式會在讀取時直接轉換爲鍵值對數據組成的pair RDD,此外,
相關文章
相關標籤/搜索