節點+Executor+Core+Task+Partition+RDD+job+DAG+stage+action算子之間的數量關係

      上面的Core與Task的默認對應關係是一對一,也可以通過.config("spark.task.cpus",1)修改. 這個參數的意思是:爲每個任務分配的內核數量   上面圖中的Core可以放大如下: action算子和job一對一。 當然考慮優化的情況下,當然如果考慮優化的話,是可以多個算子對一個job的,因爲被spark優化成一個了。 stage的話一對多。 task是線程池,所
相關文章
相關標籤/搜索