Yarn(MapReduce V2)

這裏我們先說一下MapReduce V1的侷限性: JobTracker單點瓶頸。MapReduce中的JobTracker負責作業的分發、管理和調度,同時還必須和集羣中所有的節點保持Heartbeat通信,瞭解機器的運行狀態和資源情況。很明顯,MapReduce中獨一無二的JobTracker負責了太多的任務,如果集羣的數量和提交Job的數量不斷增加,那麼JobTracker的任務量也會隨之快速
相關文章
相關標籤/搜索