54、Spark性能優化之Java虛擬機垃圾回收調優

Java虛擬機垃圾回收調優的背景 如果在持久化RDD的時候,持久化了大量的數據,那麼Java虛擬機的垃圾回收就可能成爲一個性能瓶頸。因爲Java虛擬機會定期進行垃圾回收,此時就會追蹤所有的java對象,並且在垃圾回收時,找到那些已經不在使用的對象,然後清理舊的對象,來給新的對象騰出內存空間。 垃圾回收的性能開銷,是跟內存中的對象的數量,成正比的。所以,對於垃圾回收的性能問題,首先要做的就是,使用更
相關文章
相關標籤/搜索