【Spark】Spark Core 高級特性

一、Spark優化 （1）代碼優化 1）若是一個RDD只使用一次，那麼不賦值，直接轉換操做，這叫作鏈式編程。 2）對於屢次使用的RDD，須要對rdd進行cache操做（使用完成後，須要釋放）。 3）優先選擇reduceByKey和aggregateByKey替代groupByKey，緣由是：groupByKey可能致使OOM異常，性能沒有前兩個API好（前兩個API存在combiner操做）。 （

>>阅读原文<<