72.Spark大型電商項目-算子調優之使用repartition解決Spark SQL低並行度的性能問題

目錄 並行度 問題解析 解決方法 設置前 ​ 設置後 本篇文章記錄算子調優之使用repartition解決Spark SQL低並行度的性能問題。 並行度 之前說過，並行度是自己可以調節，或者說是設置的。 1、spark.default.parallelism 2、textFile()，傳入第二個參數，指定partition數量（比較少用） 在項目代碼中，沒有設置並行度，實際上，在生產環境中，是最好

>>阅读原文<<