spark調優-開發調優

開發調優方式： （1）避免重複的RDD （2）儘可能多的複用一個RDD （3）對多次使用的RDD進行持久化 （4）儘量避免使用shuffle類的算子 （5）使用map-side預聚合的shuffle操作（combine） （6）使用高性能的算子 （7）使用廣播變量 （8）使用spark自帶的Kryo序列化 （9）數據結構的調優:字符串、對象、集合類型 （1）避免重複的RDD 案例： val rdd

>>阅读原文<<