Hadoop數據完整性

用戶希望儲存和處理數據的時候，不會有任何損失或者損壞。 Hadoop提供兩種校驗 1校驗和（常用循環冗餘校驗CRC-32） 2運行後臺進程來檢測數據塊 校驗和 寫入數據節點驗證 讀取數據節點驗證 恢復數據 Localfilesystem類 ChecksumfileSystem類 寫入數據節點驗證 Hdfs會對寫入的所有數據計算校驗和，並在讀取數據時驗證校驗和。 元數據節點負責在驗證收到的數據後，儲

>>阅读原文<<