spark的優化

1.Spark性能優化技術 Spark的性能優化，主要手段包括： 1、使用高性能序列化類庫 2、優化數據結構 3、對多次使用的RDD進行持久化 / Checkpoint 4、使用序列化的持久化級別 5、Java虛擬機垃圾回收調優 6、提高並行度 7、廣播共享數據 8、數據本地化 9、reduceByKey和groupByKey的合理使用 10、Shuffle調優（核心中的核心，重中之重） Spar

>>阅读原文<<