spark廣告精準營實戰之spark算子調優

spark廣告精準營銷離線、實時業務實戰，源碼地址，歡迎fork：https://github.com/wolf-song-ml/ADTrade 算子調優一：mapPartitions 普通的map算子對RDD中的每一個元素進行操作，而mapPartitions算子對RDD中每一個分區進行操作。如果是普通的map算子，假設一個partition有1萬條數據，那麼map算子中的function要執行

>>阅读原文<<