Hadoop的I/O操作

Hadoop的IO： Hadoop自帶的一條原子操作作用域數據I/O操作,其中有一些技術比Hadoop更常用,如數據完整性保持和壓縮在處理好幾個TB級別的數據集時值得關注. 數據完整性 Hadoop用戶不希望在存儲和處理數據時丟失或損壞任何數據，但是當系統中需要處理數據量達到Hadoop處理極限時，數據被損壞不可避免。 檢驗數據是否損壞常見的措施是：在第一次數據被引入系統時計算校驗和(checks

>>阅读原文<<