Hadoop 3.0.0-alpha1幾個值得關注的特性

時間 2019-12-08

標籤 hadoop 3.0.0 alpha1 alpha 幾個值得關注特性欄目 Hadoop 简体版

原文原文鏈接

一、支持糾刪碼：意味着更靈活的存儲策略，即常用的數據利用備份方式存儲（3倍存儲消耗），冷數據利用糾刪碼容錯（1.4倍存儲消耗，但會形成額外的IO及CPU消耗）；apache

二、MapReduce任務支持本地map output collector：對於shuffle密集型的任務能夠提高30%速度；負載均衡

三、支持兩個以上的NameNode：適用於容錯性高的場景；oop

四、支持DataNode內部balancer：原來的balancer只能作到DataNode間的負載均衡，新加的balancer能夠實現DataNode中各個磁盤間的均衡；內存

五、自動的堆內存管理：任務的堆內存大小再也不依賴於固定配置，而是改成max和min區間自動調節，以達到更高的內存使用效率。hadoop

參考： http://hadoop.apache.org/docs/current內存管理

相關標籤/搜索