【Spark】spark經常使用算子總結

1、Transformations轉換算子 filter:過濾符合條件的記錄數,true的保留、false的過濾java map:將RDD中的數據項,經過map中的函數映射變爲一個新的元素(1進1出)框架 mapPartition:執行結果與map相同,可是能夠一次遍歷整個patition函數 mapPartitionWithIndex:相似於mapPartitions,除此以外還會攜帶分區的索引
相關文章
相關標籤/搜索