大數據學習筆記(四)

一、HDFS校驗和 用戶希望在儲存和處理數據的時候,不會有任何損失或損壞,HDFS提供兩種校驗:1.校驗和 2.運行後臺進程來檢測數據塊 校驗和 寫入數據節點驗證 讀取數據節點驗證 恢復數據 Localfilesystem類 ChecksumfileSystem類 1.寫入數據節點驗證 Hdfs會對寫入的所有數據計算校驗和,並在讀取數據時驗證校驗和。 元數據節點負責在驗證收到的數據後,儲存數據及其
相關文章
相關標籤/搜索