Spark一千篇旅遊日記0004 之 作業執行解析

一. 一個spark程序細分成計算粒度的過程 1.從任務執行的角度看: task是spark中最小粒度的計算. 其中每一個綠色箭頭就表示一個task 2.從集羣的角度看: 細分成單個線程: 二. 集羣和任務的關係圖表: 比喻一下: 現在要做一個項目Application,有5臺機器(稱爲worker Node1,2,3,4,5)可以做這個項目,而這個項目有3個子任務(稱爲Job1,Job2,Job

>>阅读原文<<