SparkRDD的任務切分

角色 SparkRDD的任務角色分爲四個: Application 每一個SparkContext就是一個Application Job Application中每一個Action會生成一個Job Stage 根據RDD之間的依賴關係的不同將Job劃分爲不同的Stage(以寬依賴爲界) Task Stage是一個TaskSet,將Stage劃分的結果發送到不同的Executor執行即爲一個Task
相關文章
相關標籤/搜索