key-value型Rdd轉廣播變量時注意

當將一個(key,value)型Rdd轉成廣播變量時,需要將該Rdd轉成Map類型,但是若一個key對應多個value,直接使用collectAsMap()方法時,key值相同的value會被覆蓋,所以不能直接使用collectAsMap()方法。那怎麼辦了?應該使用collect() + foldLeft()的方式,組成mutable.HashMap對象。collect()將Rdd轉成Array
相關文章
相關標籤/搜索