13.3 Spark調優-JVM調優,shuffle調優, Reduce OOM

JVM調優:java Executor JVM堆內存 分爲三塊 靜態資源劃分算法 (60%(RDD以及廣播變量存儲的位置)+20%(運行內存)+20%(reduce 聚合內存))*90%+10%(JVM自身預留) = JVM堆內存數據庫 JVM的gc回收流程(屬於運行內存中):性能 在task中建立出來的對象首先往eden和survior1種存放,survior2是空閒的。當eden和survio
相關文章
相關標籤/搜索