鍵值對RDD的建立方式

鍵值對RDD是對Spark中許多操做所須要的常見數據類型,一般用於聚合計算。先經過ETL(抽取,轉換,裝載)操做來將數據轉化爲鍵值對形式。web 1.建立Pair RDD 在scala中使用第一個單詞做爲key,建立一個pairRDDsvg val lines=sc.textFile("input/1.txt") val pairs = lines.map(x => (x.split(" ")(0
相關文章
相關標籤/搜索