大數據存儲與處理——YARN

Yarn產生的原因 直接源於MRv1在幾個方面的缺陷 擴展性受限 單點故障:JobTracker 完成了太多的任務,造成了過多的資源消耗 難以支持MR之外的計算 多計算框架各自爲戰,數據共享困難 YARN 即在一個集羣上部署一個統一的資源調度管理框架YARN,在YARN之上可以部署其他各種計算框架 由YARN爲這些計算框架提供統一的資源調度管理服務,並且能夠根據各種計算框架的負載需求,調整各自佔用
相關文章
相關標籤/搜索