HDFS糾刪碼

糾刪碼是CDH6/Hadop3引入的新功能，之前的HDFS都是副本方式容錯，默認情況下，一個文件有三個副本，可以容忍任意2個副本（Datanode）不可用，是以犧牲空間的代價提供了數據的可用性，帶來了2倍的冗餘開銷。例如1TB的數據，需要3TB的空間來進行存儲。而糾刪碼可以在同等可用性的情況下，節省更多的空間。 以RS-6-3-1024k爲例，6份原始數據，編碼後生成3份校驗數據，一共9份數據，只

>>阅读原文<<