13.3 Spark調優-JVM調優,shuffle調優, Reduce OOM

JVM調優: Executor JVM堆內存 分爲三塊 靜態資源劃分 (60%(RDD以及廣播變量存儲的位置)+20%(運行內存)+20%(reduce 聚合內存))*90%+10%(JVM自身預留) = JVM堆內存 JVM的gc回收流程(屬於運行內存中): 在task中創建出來的對象首先往eden和survior1種存放,survior2是空閒的。當eden和survior1區域放滿以後就會觸
相關文章
相關標籤/搜索