Yarn簡單介紹及內存配置

在這篇博客中,主要介紹了Yarn對MRv1的改進,以及Yarn簡單的內存配置和Yarn的資源抽象container。 我麼知道MRv1存在的主要問題是:在運行時,JobTracker既負責資源管理又負責任務調度,這導致了它的擴展性、資源利用率低等問題。之所以存在這樣的問題,是與其最初的設計有關,如下圖: 從上圖可以看到,MRv1是圍繞着MapReduce進行,並沒有過多地考慮以後出現的其它數據處理
相關文章
相關標籤/搜索