安裝Kafka

1.默認安裝好zookeeper和scala
2.下載安裝包,解壓
　　tar -zxvf kafka_2.11-0.9.0.1.tgz kafka_2.11-0.9.0.1
3.配置環境變量
　　vim /etc/profile
　　#kafka
　　export KAFKA_HOME=/opt/kafka_2.11-0.9.0.1
　　export PATH=$PATH:$KAFKA_HOME/bin
　　source /etc/profile
4.修改配置文件
　　config/server.properties
　　broker.id=0 //整型 從0開始 高可用是注意修改
　　host.name=127.0.0.1 //節點IP 高可用時注意修改本機IP 172.16.104.241
　　log.dirs=/opt/kafka_2.11-0.9.0.1/logs //日誌目錄
　　zookeeper.connect=127.0.0.1:2181 //zookeeper 多個時用逗號分隔 高可用時爲zookeeper集羣 A:9092,B:9092
　　zookeeper.connection.timeout.ms=600000 //鏈接超時

　　config/producer.properties
　　metadata.broker.list=127.0.0.1:9092 //注意修改IP地址 高可用時爲本機Ip A:9092,B:9092

　　config/consumer.properties
　　zookeeper.connect=127.0.0.1:2181 //注意修改IP地址 高可用時爲zookeeper集羣 A:9092,B:9092

5.驗證
1.啓動zookeeper
　　zkServer.sh start //高可用時 需每臺機子執行一次
2.啓動kafka server端
　　bin/kafka-server-start.sh config/server.properties & //高可用時 需每臺機子執行一次
3.啓動producer
　　bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test01
4.啓動consumer
　　bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test01 --from-beginning
　　//注意集羣環境時需更改成zookeeper 集羣連接 如: A:2181,B:2181,C:2181.....
5.此時在producer中輸入內容在consumer中能夠顯示該內容(需多開幾個命令行窗口)

6.示例使用(//注意集羣環境時需更改成zookeeper 集羣連接 如: A:2181,B:2181,C:2181.....)
1.建立主題
　　bin/kafka-topics.sh --create  --zookeeper localhost:2181  --replication-factor 1  --partitions 1  --topic test
　　// 高可用時 replication-factor爲副本數 不能多於broker節點數 partitions 爲分區數
2.查看主題
　　bin/kafka-topics.sh --list --zookeeper localhost:2181
3.查看主題詳情
　　bin/kafka-topics.sh--describe --zookeeper localhost:2181 --topic test
4.刪除主題
　　bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test
5.同步文件內容
　　bin/connect-standalone.sh config/connect-standalone.properties
　　config/connect-file-source.properties config/connect-file-sink.properties
　　//將connect-file-source.properties配置的文件內容同步到connect-file-sink.properties配置的文件中