Hadoop存檔-13

1）理論概述 每個文件均按塊存儲，每個塊的元數據存儲在namenode的內存中，因此hadoop存儲小文件會非常低效。因爲大量的小文件會耗盡namenode中的大部分內存。但注意，存儲小文件所需要的磁盤容量和存儲這些文件原始內容所需要的磁盤空間相比也不會增多。例如，一個1MB的文件以大小爲128MB的塊存儲，使用的是1MB的磁盤空間，而不是128MB。 Hadoop存檔文件或HAR文件，是一個更高

>>阅读原文<<