大數據（hadoop-flume案例講解）

a2.cnf

#定義agent名稱，source，channel，sink的名稱
#a1就是咱們給agent起的名字，咱們知道有多個agent，那麼咱們就是經過這個來進行區別
#咱們知道agent包含了三個重要的組件，有source，channel，sink
#那麼咱們也給這個三個組件分別取名字
a1.sources = r1									
a1.channels = c1					
a1.sinks = k1						

#定義具體的source內容
#我這個source具體是什麼類型的，讀取什麼樣的數據
a1.sources.r1.type = spooldir								
a1.sources.r1.spoolDir = /home/hadoop/bigdata/logs      															
															
#定義具體的channel信息
#咱們source定義好了，就要來定義咱們的channel
a1.channels.c1.type = memory								
a1.channels.c1.capacity = 10000								
a1.channels.c1.transactionCapacity = 100					

#定義具體的sink信息
a1.sinks.k1.type = hdfs										
a1.sinks.k1.hdfs.path = hdfs://192.168.56.2:9000/flume/event	
a1.sinks.k1.hdfs.filePrefix = events-						
a1.sinks.k1.hdfs.fileType = DataStream						
															
															
															
#不按照條數生成文件
a1.sinks.k1.hdfs.rollCount = 0								
#HDFS上的文件達到128M生成一個文件							
a1.sinks.k1.hdfs.rollSize = 134217728						
#HDFS上的文件達到60秒生成一個文件							
a1.sinks.hdfs.rollInterval = 60								

#定義攔截器,其實能夠來攔截一些沒用的數據，這裏是爲了讓消息添加時間戳，這樣我就知道這個數據是何時發送過來的
#那麼咱們能夠將這個數據動態的寫入到某個目錄下面，好比1月1號的數據我寫到1月1號這個目錄，2號寫入對應的2號目錄
#這樣更方便查找和查看
a1.sources.r1.interceptors = 

#最後來組裝咱們以前定義的channel和sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a3.conf

#定義agent名稱，source，channel，sink的名稱
#a1就是咱們給agent起的名字，咱們知道有多個agent，那麼咱們就是經過這個來進行區別
#咱們知道agent包含了三個重要的組件，有source，channel，sink
#那麼咱們也給這個三個組件分別取名字
a2.sources = r1									
a2.channels = c1					
a2.sinks = k1						

#定義具體的source內容
#這裏是執行命令以及下面對應的具體命令
#這個命令執行後的數據返回給這個source
a2.sources.r1.type = exec								
a2.sources.r1.command = tail -F /home/hadoop/bigdata/logs/log      															
															
#定義具體的channel信息
#咱們source定義好了，就要來定義咱們的channel
a2.channels.c1.type = memory								
a2.channels.c1.capacity = 10000								
a2.channels.c1.transactionCapacity = 100					

#定義具體的sink信息
#這個logger sink，就是將信息直接打印到控制檯
#就是打印日誌
a2.sinks.k1.type = logger

#最後來組裝咱們以前定義的channel和sink
a2.sources.r1.channels = c1
a2.sinks.k1.channel = c1

netcat_test.conf

#定義agent名稱，source，channel，sink的名稱
#a1就是咱們給agent起的名字，咱們知道有多個agent，那麼咱們就是經過這個來進行區別
#咱們知道agent包含了三個重要的組件，有source，channel，sink
#那麼咱們也給這個三個組件分別取名字
a1.sources = r1									
a1.channels = c1					
a1.sinks = k1						

#定義具體的source內容
#我這個source具體是什麼類型的，讀取什麼樣的數據
a1.sources.r1.type = netcat								
a1.sources.r1.bind = hm02  
a1.sources.r1.port = 6666
															
#定義具體的channel信息
#咱們source定義好了，就要來定義咱們的channel
#capacity：默認該通道中最大的能夠存儲的event數量是10000	
#trasactionCapacity：每次最大能夠從source中拿到或者送到sink中的event數量是100
a1.channels.c1.type = memory								
a1.channels.c1.capacity = 10000									
a1.channels.c1.transactionCapacity = 100					

#定義具體的sink信息
a1.sinks.k1.type = logger																												

#最後來組裝咱們以前定義的channel和sink
#source能夠對應多個channel
#sink只能對應一個channel
a1.sources.r1.channels = c1			
a1.sinks.k1.channel = c1

netcat_test2m.conf

#定義agent名稱，source，channel，sink的名稱
#a1就是咱們給agent起的名字，咱們知道有多個agent，那麼咱們就是經過這個來進行區別
#咱們知道agent包含了三個重要的組件，有source，channel，sink
#那麼咱們也給這個三個組件分別取名字
a1.sources = r1									
a1.channels = c1					
a1.sinks = k1						

#定義具體的source內容
#我這個source具體是什麼類型的，讀取什麼樣的數據
a1.sources.r1.type = netcat								
a1.sources.r1.bind = hm02  
a1.sources.r1.port = 6666
															
#定義具體的channel信息
#咱們source定義好了，就要來定義咱們的channel
a1.channels.c1.type = memory								
a1.channels.c1.capacity = 10000									
a1.channels.c1.transactionCapacity = 100					

#定義具體的sink信息
#a1.sinks.k1.type = logger
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hs0201
a1.sinks.k1.port = 8888

#最後來組裝咱們以前定義的channel和sink
a1.sources.r1.channels = c1			
a1.sinks.k1.channel = c1

netcat_test2s.conf

#定義agent名稱，source，channel，sink的名稱
#a1就是咱們給agent起的名字，咱們知道有多個agent，那麼咱們就是經過這個來進行區別
#咱們知道agent包含了三個重要的組件，有source，channel，sink
#那麼咱們也給這個三個組件分別取名字
a1.sources = r1									
a1.channels = c1					
a1.sinks = k1						

#定義具體的source內容
#我這個source具體是什麼類型的，讀取什麼樣的數據
a1.sources.r1.type = avro								
a1.sources.r1.bind = hs0201  
a1.sources.r1.port = 8888
															
#定義具體的channel信息
#咱們source定義好了，就要來定義咱們的channel
a1.channels.c1.type = memory								
a1.channels.c1.capacity = 10000									
a1.channels.c1.transactionCapacity = 100					

#定義具體的sink信息
a1.sinks.k1.type = logger


#最後來組裝咱們以前定義的channel和sink
a1.sources.r1.channels = c1			
a1.sinks.k1.channel = c1