任務調度,你懂嗎?來聽阿里大老一張圖解釋spark任務調度

    關於任務調度,主要通過上面的這張圖進行一個相應的講解,在這張圖裏面主要分爲兩個部分,一是關於任務調度的流程,二是關於任務調度的重試機制,這也是我們spark優化的其中一個方面 首先是RDD Object, 這也就相當於我們的應用程序,當我們在開發一個application的時候我們會將一個個的RDD之間有了一個依賴關係,形成一個有向無環圖,然後我們將這個有向無環圖提交給DAGSchedul
相關文章
相關標籤/搜索