spark流程源碼解析

      左邊綠色的是客戶端,右邊的是我們要提交到的spark集羣       不同的Master url會生成不同的TaskScheduler,而TaskScheduler是真真正正的去申請資源的,因爲是不同的集羣模式,所以他申請資源的方式不一樣,所以生成的TaskScheduler的Barkend就不一樣,而Barkend是真真正正和底層進行通訊的一個角色。yarn 的模式下是通過反射的機制
相關文章
相關標籤/搜索