Flume 實戰案例

採集目錄到 HDFS 採集需求:某服務器的某特定目錄下,會不斷產生新的文件,每當有新文件出現,就需要把文件採集到 HDFS 中去 根據需求,首先定義以下 3 大要素 數據源組件,即 source ——監控文件目錄:spooldir spooldir 特性: 1、 監視一個目錄,只要目錄中出現新文件,就會採集文件中的內容 2、 採集完成的文件,會被 agent 自動添加一個後綴:.COMPLETED
相關文章
相關標籤/搜索