自定義分片策略解決大量小文件問題

自定義分片策略解決大量小文件問題 @(Hadoop)php 默認的TextInputFormat 應該都知道默認的TextInputFormat是一行行的讀取文件內容，這對於一個或幾個超大型的文件來講並無什麼問題，可是在實驗讀取大量小文件的時候，性能及其低下。java 實驗過程git 分別有5個文件夾，每一個文件夾下有不一樣數量（1-2千個）的小文件（10+k大小），總量大概有8k+個文件，使用C

>>阅读原文<<