Spark中Task，Partition等關鍵概念

源自知乎https://www.zhihu.com/question/33270495?sort=created 先盜一個圖 輸入多個hdfs文件，每個文件有多個block，當spark讀取多個文件時，將多個block合併爲一個輸入分片（InputSplit，它是不能跨文件的），每個輸入分片對應一個task，一個task會被分配到某個節點的一個executor上執行，每個executor上有多個c

>>阅读原文<<