Hadoop小文件的問題

小文件指的是那些size比HDFS的block size(默認64M)小的多的文件。如果在HDFS中存儲小文件，那麼在HDFS中肯定會含有許許多多這樣的小文件(不然就不會用hadoop了)。而HDFS的問題在於無法很有效的處理大量小文件。 任何一個文件，目錄和block，在HDFS中都會被表示爲一個object存儲在namenode的內存中，沒一個object佔用150 bytes的內存空間。所以

>>阅读原文<<