spark 一些算子的使用及優化

一、MapPartitions spark中，最基本的原則，就是每一個task處理一個RDD的partition。 MapPartitions操做的優勢： 若是是普通的map，好比一個partition中有1萬條數據；ok，那麼你的function要執行和計算1萬次。 可是，使用MapPartitions操做以後，一個task僅僅會執行一次function，function一次接收全部的parti

>>阅读原文<<