Hadoop 3.0 糾刪碼技術分析（Erasure Coding）

背景 隨着大數據技術的發展，HDFS作爲Hadoop的核心模塊之一得到了廣泛的應用。爲了數據的可靠性，HDFS通過多副本機制來保證。在HDFS中的每一份數據都有兩個副本，1TB的原始數據需要佔用3TB的磁盤空間，存儲利用率只有1/3。而且系統中大部分是使用頻率非常低的冷數據，卻和熱數據一樣存儲3個副本，給存儲空間和網絡帶寬帶來了很大的壓力。因此，在保證可靠性的前提下如何提高存儲利用率已成爲當前HD

>>阅读原文<<