HDFS無法高效存儲大量小文件,如何處理好小文件?

一、HAR文件方案         爲了緩解大量小文件帶給namenode內存的壓力,Hadoop 0.18.0引入了Hadoop Archives(HAR files),其本質就是在HDFS之上構建一個分層文件系統。通過執行hadoop archive 命令就可以創建一個HAR文件。在命令行下,用戶可使用一個以har://開頭的URL就可以訪問HAR文件中的小文件。使用HAR files可以減少
相關文章
相關標籤/搜索