spark partition、task、core、worker、excutor數量梳理

輸入可能以多個文件的形式存儲在HDFS上，每個File都包含了很多塊，稱爲Block。 當Spark讀取這些文件作爲輸入時，會根據具體數據格式對應的InputFormat進行解析，一般是將若干個Block合併成一個輸入分片，稱爲InputSplit，注意InputSplit不能跨越文件。 隨後將爲這些輸入分片生成具體的Task。InputSplit與Task是一一對應的關係。 隨後這些具體的Tas

>>阅读原文<<