Spark中的Task，partitioner，executor，cores等相關概念

Spark中的Task，partitioner，executor，cores等相關概念 說明 輸入多個hdfs文件，每個文件有多個block，當spark讀取多個文件時，將多個block合併爲一個輸入分片（InputSplit，它是不能跨文件的），每個輸入分片對應一個task，一個task會被分配到某個節點的一個executor上執行，每個executor上有多個cores（一個executor可

>>阅读原文<<