Hadoop中小文件過多的問題

問題定義 HDFS上的小文件是指文件大小明顯小於HDFS上塊（block）大小（默認64MB）的文件。在hdfs上大量存儲小文件會給hadoop的擴展性和性能帶來嚴重問題。 原因 首先，在HDFS中，任何一個文件，目錄或者block在NameNode節點的內存中均以一個對象表示（元數據）（Every file, directory and block in HDFS is represented

>>阅读原文<<