重要 | Spark分區並行度決定機制

最近經常有小夥伴留言，核心問題都比較類似，就是雖然接觸Spark有一段時間了，但是搞不明白一個問題，爲什麼我從HDFS上加載不同的文件時，打印的分區數不一樣，並且好像spark.default.parallelism這個參數時不是一直起作用？其實筆者之前的文章已有相關介紹，想知道爲什麼，就必須瞭解Spark在加載不同的數據源時分區決定機制以及調用不用算子時並行度決定機制以及分區劃分。 其實之前的文

>>阅读原文<<