Spark從入門到精通第十二課：Spark資源調度與任務調度 && 廣播變量與累加器

1 、資源調度與任務調度 資源調度過程 ​ 資源調度： 一、new SparkContext時在啓動driver。 二、driver/AM啓動成功則向主節點申請資源。 三、主節點接收到請求返回給driver/AM一批節點信息。 四、driver/AM接收到迴應則到對應的從節點啓動executor。 五、executor成功啓動則向driver註冊本身。

>>阅读原文<<