Hadoop的IO處理

1.HDFS數據完整性 HDFS會寫入所有數據的計算校驗和，並對正在讀取的數據進行校驗，默認校驗方式是RCR-32。 不只是讀寫數據時會進行校驗，datanode也會在後臺線程中運行DataBlockScanner進行校驗，定期檢查數據的缺失情況。 客戶端讀寫數據時，發現數據損壞了，向namenode彙報，拋出ChecksumException，namenode將該datanode上的數據轉移到其

>>阅读原文<<