【圖文詳細 】HDFS面試題:當小文件數量過多時,如何合併小文件

當每一個小文件數據量比較小的時候,能夠經過命令的方式進行小文件的合併如:app hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt,當數據量比較大的時候建議使用MR進行小文件的合併oop
相關文章
相關標籤/搜索