【Spark 】Spark 調優原則

Spark的調優是面試或者筆試考察的重點：總結下 ​ ​ 1.開發調優： 原則一：避免創建重複的RDD。 原則二：儘可能複用同一個RDD。 原則三：對多次使用的RDD進行持久化。 原則四：儘量避免使用shuffle類算子 。 原則五：使用map-side預聚合的shuffle操作。 原則六：使用高性能的算子 原則七：廣播大變量。 原則八：使用Kryo優化序列化性能。 原則九：優化數據結構。 原則十

>>阅读原文<<