Spark集羣中什麼是cpu-core 內核？RDD分區個數？集羣的節點個數？及三者與並行度的關係

  # 總核數 = 物理CPU個數 X 每顆物理CPU的核數 # 總邏輯CPU數 = 物理CPU個數 X 每顆物理CPU的核數 X 超線程數 梳理一下Spark中關於併發度涉及的幾個概念File，Block，Split，Task，Partition，RDD以及節點數、Executor數、core數目的關係。 輸入可能以多個文件的形式存儲在HDFS上，每個File都包含了很多塊，稱爲Block。 當

>>阅读原文<<