大數據面試與架構調優 RDD On Spark篇

(map 、 mappartition)(transformation) 、(foreach、foreachprtition )(action類型算子) 1： map 是作用到RDD每個元素都遍歷下，如果是持久化數據需要創建連接，就會創建很多連接。 2：mappartition 是作用到每個分區遍歷一次，相對map更加合理，但是有可能單個partition過大 會導致資源不被釋放，這個時候莫慌指定

>>阅读原文<<