Hadoop小文件處理

導讀         HDFS做爲Hadoop生態系統的分佈式文件系統，設計是用來存儲海量數據，特別適合存儲TB、PB量級別的數據。可是隨着時間的推移或者處理程序的問題，HDFS上可能會存在大量的小文件，進而消耗NameNode大量的內存，而且延長程序的運行時間。下面我就把對小文件的處理經驗總結一下，供你們參考。html 引言        先來了解一下Hadoop中何爲小文件：小文件指的是那些文

>>阅读原文<<