Flume(03)——Flume採集案例

1 採集目錄到HDFS 需求分析 採集需求:某服務器的某特定目錄/export/servers/dirfile下,會不斷產生新的文件,每當有新文件出現,就需要把文件採集到HDFS中去。 需求分析: 通過flume採集數據,最重要的就是配置三大組件。 這裏可以通過source來監控文件目錄。 通過channel,來將source採集到的內容發送到sink 通過sink,將文件上傳到HDFS文件系統。
相關文章
相關標籤/搜索