Hadoop權威指南 第5章 Hadoop I/O

第5章 Hadoop I/O 數據完整性 壓縮 基於文件的數據結構 數據完整性 Hadoop ChecksumFileSystem 使用 CRC-3計算校驗和，HDFS用於校驗和計算的則是一個更有效的變體CRC-32C。 datanode在接收到客戶端或者複製其他datanode的數據時校驗數據。 由於HDFS存儲着每個數據塊的複本，一次可以通過數據複本修復損壞的數據塊，進而得到一個新的、完好無損

>>阅读原文<<