HDFS的IO操作

一、數據完整性   IO操作過程中難免會出現數據丟失或髒數據，數據傳輸得量越大出錯得機率越高，而用戶希望儲存和處理數據的時候，不會有任何損失或者損壞。   Hadoop提供兩種校驗 1校驗和（常用循環冗餘校驗CRC-32） 2運行後臺進程來檢測數據塊 校驗和 a.寫入數據節點驗證。   Hdfs會對寫入的所有數據計算校驗和，並在讀取數據時驗證校驗和。   元數據節點負責在驗證收到的數據後，儲存數據

>>阅读原文<<