Spark Streaming 流計算優化記錄(6)-GC優化與shuffle service

11. Spark應用的GC調優 說到GC, 可能很多人都傾向於使用新潮的G1垃圾收集器, 特別是intel的那幾個兄弟在databrick發表了篇用G1調優Spark應用的博文後, 就更多人熱衷於嘗試G1了. 但其實我們再去年就對G1和老牌的CMS+NewPar進行過對比測試, 發現G1根本沒有比CMS好, 有時候還會導致更多的FullGC, 而實際上連Oracle官方都覺得G1還沒有produ

>>阅读原文<<