【Spark】Spark Core 高級特性

1、Spark優化 （1）代碼優化 1）如果一個RDD只使用一次，那麼不賦值，直接轉換操作，這叫做鏈式編程。 2）對於多次使用的RDD，需要對rdd進行cache操作（使用完成後，需要釋放）。 3）優先選擇reduceByKey和aggregateByKey替代groupByKey，原因是：groupByKey可能導致OOM異常，性能沒有前兩個API好（前兩個API存在combiner操作）。 （

>>阅读原文<<