(2)RDD的基本操作

一、map操作,map(Transform) 二、collect操作,collect(Action) 三、使用PairRDD來做計算,類似key-value結構 採用groupByKey來。將資料按照Key值重新排序。 更好的解決方案:reduceByKey(Transform) reduceByKey能夠直接將資料根據key值聚合,減少多餘的交換(shuffle)動作。 避免使用groupbyk
相關文章
相關標籤/搜索