Spark性能優化指南學習（四）——spark內存模型及shuffle調優

1、內存模型緩存 spark運行使用內存主要包含driver和executor，經過driver-memory和executor-memory進行設置，經過運行機制得知，driver負責提交註冊，接受executor反向註冊，stage劃分和task任務分發等工做，默認內存大小爲1G，在使用collect算子時，須要注意oom，由於collect算子將數據拉取到driver，spark的主要做業發

>>阅读原文<<