Flume監聽文件夾中的文件變化,並把文件下沉到hdfs

一、採集目錄到HDFS 採集需求:某服務器的某特定目錄下,會不斷產生新的文件,每當有新文件出現,就須要把文件採集到HDFS中去 根據需求,首先定義如下3大要素 採集源,即source——監控文件目錄 : spooldir 下沉目標,即sink——HDFS文件系統 : hdfs sink source和sink之間的傳遞通道——channel,可用file channel 也能夠用內存channel
相關文章
相關標籤/搜索