Spark算子系列文章

Spark算子系列文章

 Spark  lxw1234@qq.com  1年前 (2015-07-06)  8869℃  2評論

Spark算子：RDD基本轉換操做(1)–map、flagMap、distinct

Spark算子：RDD建立操做

Spark算子：RDD基本轉換操做(2)–coalesce、repartition

Spark算子：RDD基本轉換操做(3)–randomSplit、glom

Spark算子：RDD基本轉換操做(4)–union、intersection、subtract

Spark算子：RDD基本轉換操做(5)–mapPartitions、mapPartitionsWithIndex

Spark算子：RDD基本轉換操做(6)–zip、zipPartitions

Spark算子：RDD基本轉換操做(7)–zipWithIndex、zipWithUniqueId

 

Spark算子：統計RDD分區中的元素及數量 

 

Spark算子：RDD鍵值轉換操做(1)–partitionBy、mapValues、flatMapValues

Spark算子：RDD鍵值轉換操做(2)–combineByKey、foldByKey 

Spark算子：RDD鍵值轉換操做(3)–groupByKey、reduceByKey、reduceByKeyLocally

Spark算子：RDD鍵值轉換操做(4)–cogroup、join

Spark算子：RDD鍵值轉換操做(5)–leftOuterJoin、rightOuterJoin、subtractByKey

 

Spark算子：RDD行動Action操做(1)–first、count、reduce、collect

Spark算子：RDD行動Action操做(2)–take、top、takeOrdered

Spark算子：RDD行動Action操做(3)–aggregate、fold、lookup

Spark算子：RDD行動Action操做(4)–countByKey、foreach、foreachPartition、sortBy

Spark算子：RDD行動Action操做(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

Spark算子：RDD行動Action操做(6)–saveAsHadoopFile、saveAsHadoopDataset

Spark算子：RDD行動Action操做(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset