HDFS無法高效存儲大量小文件，如何處理好小文件？

一、HAR文件方案         爲了緩解大量小文件帶給namenode內存的壓力，Hadoop 0.18.0引入了Hadoop Archives(HAR files)，其本質就是在HDFS之上構建一個分層文件系統。通過執行hadoop archive 命令就可以創建一個HAR文件。在命令行下，用戶可使用一個以har://開頭的URL就可以訪問HAR文件中的小文件。使用HAR files可以減少

>>阅读原文<<