Spark 性能調優

最近在學習spark，spark相對於mr來說他的dag模型和內存管理確實很大的提高了性能，但是Spark開發出高性能的大數據計算作業，並不是那麼簡單的。想要spark最大的發揮他的優勢，需要在很多方面進行調優。 基礎篇 1. 開發調優 開發調優主要就是對於算法的理解以及使用，也是最基礎的部分。 1.儘可能複用同一個RDD，這樣可以儘可能地減少RDD的數量，從而儘可能減少算子執行的次數 2.對多次

>>阅读原文<<