Spark 與MapReduce 資源調度方面的簡單對比

spark-粗粒度的資源調度:

在Application執行以前,先將全部的資源申請完畢,纔會執行任務的調度,直到最後一個task執行完畢,纔會釋放掉這些資源

優勢:每個task執行以前不須要本身去申請資源,直接去用資源就能夠,那麼每個task執行時間就會縮短了,
    stage時間也縮短了,job的執行時間也縮短了,app的時間也就縮短了
缺點:一直到最後一個task執行完畢纔會釋放支援,集羣的資源不能充分利用

MapReduce-細粒度的資源調度

在application執行以前不須要先將資源申請完畢,而是直接進行任務調度,每個task在執行以前本身去申請資源,申請到了就執行,
申請不到就繼續申請,每個task執行完畢後後悔本身將申請的資源釋放掉
優勢:充分利用集羣的資源狀況
缺點:task執行的時間變長了
相關文章
相關標籤/搜索