Hadoop之-HDFS上大量小文件的問題及解決方案

前言 我們知道，HDFS 被設計成存儲大規模的數據集，我們可以在 HDFS 上存儲 TB 甚至 PB 級別的海量數據。而這些數據的元數據（比如文件由哪些塊組成、這些塊分別存儲在哪些節點上）全部都是由 NameNode 節點維護，爲了達到高效的訪問， NameNode 在啓動的時候會將這些元數據全部加載到內存中。而 HDFS 中的每一個文件、目錄以及文件塊，在 NameNode 內存都會有記錄，每一

>>阅读原文<<