Spark性能優化指南學習（四）——spark內存模型及shuffle調優

一、內存模型 spark運行使用內存主要包含driver和executor，通過driver-memory和executor-memory進行設置，通過運行機制得知，driver負責提交註冊，接受executor反向註冊，stage劃分和task任務分發等工作，默認內存大小爲1G，在使用collect算子時，需要注意oom，因爲collect算子將數據拉取到driver，spark的主要作業發生在

>>阅读原文<<