Hadoop的IO操作--校驗和-文件結構-數據類型-壓縮

一、數據完整性   用戶希望儲存和處理數據的時候，不會有任何損失或者損壞。Hadoop提供兩種校驗：校驗和、運行後臺程序來檢測數據塊 1、校驗和（常用循環冗餘校驗CRC-32） ①寫入數據節點驗證      --Hdfs會對寫入的所有數據計算校驗和，並在讀取數據時驗證校驗和。      --元數據節點負責在驗證收到的數據後，儲存數據及其校驗和。在收到客戶端數據或複製其他datanode的數據時執行

>>阅读原文<<