【菜鳥系列】spark經常使用算子總結(scala、java)--map,flatMap,flatMapToPair

map,flatMap,flatMapToPair是最經常使用的算子,map算子的輸入和輸出是一對一的,也就是子RDD的分區與父RDD的分區時一對一的關係;flatMap是壓平,輸入和輸出是一對多的關係;須要注意的是:scala版本的map能夠將RDD轉成PairRDD,可是在java版本中,這個功能是經過mapToPair函數實現的,須要實現PairFunction函數;scala版本沒有fla
相關文章
相關標籤/搜索