HDFS的Block數據balancer重分佈實戰

Hadoop的HDFS集羣在使用一段時間後，各個DataNode節點的磁盤使用率肯定會出現不平衡的情況，也就是數據量層面的數據傾斜，如圖： 引起這種情況的方式很多： 1.       添加新的Datanode節點 2.       人爲干預將數據的副本數降低或者增加   我們都知道當HDFS出現數據不平衡的時候，就會造成MapReduce或Spark等應用程序無法很好的利用本地計算的優勢，而且Da

>>阅读原文<<