MR優化 & hadoop參數調優

MR優化 小文件 所謂小文件，就是單個文件的size小於blockSize。node HDFS 小文件影響 （1）影響 NameNode 的壽命，由於文件元數據存儲在 NameNode 的內存中 （2）影響計算引擎的任務數量，由於每一個小的文件都會生成一個 Map 任務web 數據輸入小文件處理： （1）合併小文件：對小文件進行歸檔（Har）、自定義 Inputformat 將小文件存儲成Sequ

>>阅读原文<<