spark調優之cache&persist

調優概述 Spark性能優化的第一步，就是要在開發Spark作業的過程中注意和應用一些性能優化的基本原則。開發調優，就是要讓大家瞭解以下一些Spark基本開發原則，包括：RDD lineage設計、算子的合理使用、特殊操作的優化等。在開發過程中，時時刻刻都應該注意以上原則，並將這些原則根據具體的業務以及實際的應用場景，靈活地運用到自己的Spark作業中。 原則一：避免創建重複的RDD 在開發一個S

>>阅读原文<<