Spark性能優化二之Java虛擬機垃圾回收調優

GC對性能的影響： =調節excutor內存比例================= 調節executor內存比例，默認此參數值是0.6，降低調爲0.5：使用new SparkConf().set(「spark.storage.memoryFraction」, 「0.5」)即可，其實啊，根據經驗來看，對於垃圾回收的調優，儘量就是說，調節executor內存的比例就可以了。因爲jvm的調優是非常複雜和

>>阅读原文<<