spark 大型項目實戰(三十八): 算子調優之MapPartitions提高Map類操做性能

spark中，最基本的原則，就是每一個task處理一個RDD的partition。 MapPartitions操做的優勢：web 若是是普通的map，好比一個partition中有1萬條數據；ok，那麼你的function要執行和計算1萬次。svg 可是，使用MapPartitions操做以後，一個task僅僅會執行一次function，function一次接收全部的partition數據。只要執

>>阅读原文<<