Spark中關於並行度涉及的幾個概念

梳理一下Spark中關於並行度涉及的幾個概念,File,Block,Split,Task,Partition,RDD以及節點數、Executor數、core數目的關係。 輸入可能以多個文件的形式存儲在HDFS上,每個File都包含了很多塊,稱爲Block。 當Spark讀取這些文件作爲輸入時,會根據具體數據格式對應的InputFormat進行解析,一般是將若干個Block合併成一個輸入分片,稱爲I
相關文章
相關標籤/搜索