CDH配置機架感知策略

機架感知是一種計算不同計算節點(TT)的距離的技術,用以在任務調度過程中儘量減少網絡帶寬資源的消耗,這裏用盡量,想表達的是當一個TT申請不到本地化任務時,yarn會盡量調度一個機架的任務給他,因爲不同機架的網絡帶寬資源比同一個機架的網絡帶寬資源更可貴。當然,機架感知不僅僅用在MR中,同樣還用在HDFS數據塊備份過程中(第一個replica選擇本節點【如果上傳是DataNode】或者隨機的一個DN(
相關文章
相關標籤/搜索