SparkRDD的任務切分

角色

SparkRDD的任務角色分爲四個:

• Application
  每一個SparkContext就是一個Application
• Job
  Application中每一個Action會生成一個Job
• Stage
  根據RDD之間的依賴關係的不同將Job劃分爲不同的Stage（以寬依賴爲界）
• Task
  Stage是一個TaskSet，將Stage劃分的結果發送到不同的Executor執行即爲一個Task