spark性能調優-分配更多的資源

1.通過觀察spark部署圖可以看出增加executor的數量會增加task的數量從而增加並行度。（executor分配的task數量和cpu core有關，cpu core越多，可分配的task越多） 2.增加每個executor的內存大小，因爲如果需要對RDD進行緩存，更多的內存就可以緩存更多的數據，從而減少磁盤I/O,包括shuffle操作需要內存來存放拉取的數據進行聚合，也可以減少磁盤I/

>>阅读原文<<