Spark配置參數調優

CPU各核負載量很不均勻，內存也沒有用滿，系統的資源沒有得到充分利用，該如何利用？ (1)Spark的RDD的partition個數創建task的個數是對應的; (2)Partition的個數在hadoop的RDD中由block的個數決定的。   內存：系統總內存數 = work內存大小 * work數 = SPARK_WORKER_MEMORY * SPARK_WORKER_INSTANCES

>>阅读原文<<