Spark中Task，Partition，RDD、節點數、Executor數、core數目的關係

Spark中Task，Partition，RDD、節點數、Executor數、core數目的關係 梳理一下Spark中關於併發度涉及的幾個概念File，Block，Split，Task，Partition，RDD以及節點數、Executor數、core數目的關係。 【默認情況下split與block是一對一的，而split又與RDD中的partition對應】 輸入可能以多個文件的形式存儲在HDF

>>阅读原文<<