spark中job、stage、task、partition、executor概念理解以及分區數深刻探究

概念 1. job定義：        咱們都知道，在spark rdd中，有action、transform操做，當真正觸發action時，才真正執行計算，此時產生一個job任務。html 2. stage定義：        以shuffle爲界，當在一個job任務中涉及shuffle操做時，會進行stage劃分，產生一個或多個stage。java 3. task定義：       一個sta

>>阅读原文<<