Spark任務中如何確定spark分區數、task數目、core個數、worker節點個數、excutor數量

先上圖：   每一個過程的任務數，對應一個inputSplit1, Partition輸入可能以多個文件的形式存儲在HDFS上，每個File都包含了很多塊，稱爲Block。 當Spark讀取這些文件作爲輸入時，會根據具體數據格式對應的InputFormat進行解析，一般是將若干個Block合併成一個輸入分片，稱爲InputSplit，注意InputSplit不能跨越文件。 隨後將爲這些輸入分片生成

>>阅读原文<<