Flume 實時監控目錄下的多個追加文件

Exec source 適用於監控一個實時追加的文件,但不能保證數據不丟失; Spooldir Source 能夠保證數據不丟失,且能夠實現斷點續傳,但延遲較高,不能實時監控; Taildir Source 既能夠實現斷點續傳,又可以保證數據不丟失,還能夠進行實時監控。 1)案例需求:使用 Flume 監聽整個目錄的實時追加文件,並上傳至 HDFS 2)需求分析: 實現步驟: 1.創建配置文件 f
相關文章
相關標籤/搜索