Spark學習（2）——設計機器學習系統

補充內容： Spark中關於併發度涉及的幾個概念File，Block，Split，Task，Partition，RDD以及節點數、Executor數、core數目的關係 輸入可能以多個文件的形式存儲在HDFS上，每個File都包含了很多塊，稱爲Block。默認情況下，一個block最大爲128M。 當Spark讀取這些文件作爲輸入時，會根據具體數據格式對應的InputFormat進行解析，一般是將

>>阅读原文<<