Hadoop的IO操作--校驗和-文件結構-數據類型-壓縮

一、數據完整性   用戶希望儲存和處理數據的時候,不會有任何損失或者損壞。Hadoop提供兩種校驗:校驗和、運行後臺程序來檢測數據塊 1、校驗和(常用循環冗餘校驗CRC-32) ①寫入數據節點驗證      --Hdfs會對寫入的所有數據計算校驗和,並在讀取數據時驗證校驗和。      --元數據節點負責在驗證收到的數據後,儲存數據及其校驗和。在收到客戶端數據或複製其他datanode的數據時執行
相關文章
相關標籤/搜索