算子調優之MapPartitions提高Map類操做性能

spark中，最基本的原則，就是每一個task處理一個RDD的partition。性能 一、MapPartitions操做的優勢：spa 若是是普通的map，好比一個partition中有1萬條數據;ok，那麼你的function要執行和計算1萬次。內存 可是，使用MapPartitions操做以後，一個task僅僅會執行一次function，function一次接收全部的partition數據。

>>阅读原文<<