Spark性能優化詳解

1.對集羣分配更多的資源 在提交任務時，在–total-executor-cores,–executor-memory,–driver-memory參數上分配 分配cpu core,memory 給executor分配更多的內存，能夠減少executor頻繁gc，因爲一旦發生頻繁gc，spark的性能會馬上下降 給executor分配更多的內存，會將盡量多的rdd的數據保存在內存中，可以避免磁盤I

>>阅读原文<<