Nifi 合併Hdfs上的文件

在使用Nifi的過程中，有些數據是每分鐘都會通過 數據庫導入到hdfs上。這樣就不可避免的產生了許多小文件。小文件過多不利於數據的存儲。 因此使用Nifi 將小文件 合併掉。     流程上，使用 ListHDFS 這個控件 獲取目錄下所有的hdfs小文件。 因爲通過nifi寫入到hdfs上的文件都是parquet格式。 下一步使用 FetchParquet 讀取 parquet的文件內容。 然後

>>阅读原文<<