Hadoop MapReduce編程 API入門系列之小文件合併(二十九)

  Hadoop 自身提供了幾種機制來解決相關的問題,包括HAR,SequeueFile和CombineFileInputFormat。       Hadoop 自身提供的幾種小文件合併機制 Hadoop HAR         將衆多小文件打包成一個大文件進行存儲,並且打包後原來的文件仍然可以通過Map-reduce進行操作,打包後的文件由索引和存儲兩大部分組成         缺點:一旦創建
相關文章
相關標籤/搜索