ambari下的flume和kafka整合

一、配置flume

 1 #掃描指定文件配置
 2 agent.sources = s1    
 3 agent.channels = c1  
 4 agent.sinks = k1
 5 
 6 agent.sources.s1.type=exec
 7 agent.sources.s1.command=tail -F /home/flume/test/test.log
 8 agent.sources.s1.channels=c1
 9 agent.channels.c1.type=memory
10 agent.channels.c1.capacity=10000
11 agent.channels.c1.transactionCapacity=100
12 
13 #設置Kafka接收器
14 agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
15 #設置Kafka的broker地址和端口號
16 agent.sinks.k1.brokerList=172.16.38.159:6667
17 #設置Kafka的Topic
18 agent.sinks.k1.topic=test
19 #設置序列化方式
20 agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
21 
22 agent.sinks.k1.channel=c1

2、配置kafka

　　一、建立一個topic

#建立一個test的topic
bin/kafka-topics.sh --zookeeper 172.16.38.159:2181 --create --topic test --replication-factor 1 --partitions 1

　　二、使用kafka的監控來查看

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
 com.quantifind.kafka.offsetapp.OffsetGetterWeb \
 --zk 172.16.38.159:2181 \
 --port 8089 \
 --refresh 10.seconds \
 --retain 1.days

 　　三、使用customer來查看收到的數據

./kafka-console-consumer.sh -zookeeper 172.16.38.159:2181 --from-beginning --topic test

 

我的博客地址：http://julyme.com

博文地址：http://julyme.com/c/ambari下的flume和kafka整合