Spark性能優化二之Java虛擬機垃圾回收調優

GC對性能的影響: =調節excutor內存比例================= 調節executor內存比例,默認此參數值是0.6,降低調爲0.5:使用new SparkConf().set(「spark.storage.memoryFraction」, 「0.5」)即可,其實啊,根據經驗來看,對於垃圾回收的調優,儘量就是說,調節executor內存的比例就可以了。因爲jvm的調優是非常複雜和
相關文章
相關標籤/搜索