【Spark篇】---Spark調優之代碼調優,數據本地化調優,內存調優,SparkShuffle調優,Executor的堆外內存調優...

一、前述 Spark中調優大致分爲以下幾種 ,代碼調優,數據本地化,內存調優,SparkShuffle調優,調節Executor的堆外內存。 二、具體    1、代碼調優 1、避免創建重複的RDD,儘量使用同一個RDD 2、對多次使用的RDD進行持久化   如何選擇一種最合適的持久化策略? 默認情況下,性能最高的當然是MEMORY_ONLY,但前提是你的內存必須足夠足夠大,可以綽綽有餘地存放下整個
相關文章
相關標籤/搜索