Hadoop小文件處理

導讀         HDFS做爲Hadoop生態系統的分佈式文件系統,設計是用來存儲海量數據,特別適合存儲TB、PB量級別的數據。可是隨着時間的推移或者處理程序的問題,HDFS上可能會存在大量的小文件,進而消耗NameNode大量的內存,而且延長程序的運行時間。下面我就把對小文件的處理經驗總結一下,供你們參考。html 引言        先來了解一下Hadoop中何爲小文件:小文件指的是那些文
相關文章
相關標籤/搜索