Hadoop IO

1.數據完整性 檢測數據的常用措施：在數據第一次引入系統時計算校驗和，讀取時再次計算校驗和然後進行比較，常用的錯誤檢測碼是CRC-32。 注：校驗和也是可能損壞的，但是校驗和比數據小得多，所以損壞的可能性很小。 1）HDFS的數據完整性 HDFS會對寫入的所有數據計算校驗和，並在讀取數據時驗證校驗和。默認針對每512個字節的數據計算校驗和。 core-site.xml <property> <

>>阅读原文<<