flume傳數據到hdfs

背景:flume可以實時的收集文件並傳到hdfs上,它是一個高可靠的,分佈式的海量日誌採集、聚合和傳輸的系統。它可實現流式處理。自動故障轉移。 1.首先安裝好flume,因爲是flume用java寫的,所以要配置下jdk 2.運行時只要寫好配置文件,agent.conf,然後用命令運行就行了 flume有三個組件source、channel、sink在agent.conf裏需要配置好這3個組件。他
相關文章
相關標籤/搜索