HDFS冗餘數據塊的自動刪除

HDFS冗餘數據塊的自動刪除 在平常維護hadoop集羣的過程當中發現這樣一種狀況： 某個節點因爲網絡故障或者DataNode進程死亡，被NameNode斷定爲死亡， HDFS立刻自動開始數據塊的容錯拷貝； 當該節點從新添加到集羣中時，因爲該節點上的數據其實並無損壞， 因此形成了HDFS上某些block的備份數超過了設定的備份數。 經過觀察發現，這些多餘的數據塊通過很長的一段時間纔會被徹底刪除掉，

>>阅读原文<<