kafka&&kafka-manager部署安裝

1、zk集羣部署

2、kafka部署安裝

一、建立kafka用戶和日誌路徑，（直接執行）

groupadd kafka useradd -g kafka kafka mkdir -p /web/kafka mkdir -p /var/kafka/kafka-logs rsync -zrtopg 10.12.30.102::soft/kafka_2.11-0.10.2.0.cdo.tgz /web/kafka cd /web/kafka chmod +x kafka_2.11-0.10.2.0.cdo.tgz tar zxf kafka_2.11-0.10.2.0.cdo.tgz chown -R kafka.kafka /var/kafka/kafka-logs chown -R kafka.kafka /web/kafka

 

二、修改配置文件 server.properties  

kafka用戶執行如下操做

broker.id id惟一 listeners = PLAINTEXT://10.32.58.12:9092 監聽端口號 advertised.listeners=PLAINTEXT://10.32.58.12:9092 zookeeper.connect zk配置，集羣ip以逗號隔開 num.partitions 分區數 default.replication.factor 副本數 delete.topic.enable=true 是否支持手動刪除topic

 

三、啓動kafka服務

sh kafka-server-start.sh -daemon ../config/server.properties

 

四、kafka經常使用命令

sh kafka-topics.sh --create --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --replication-factor 3 --partitions 3 --topic test01 建立test01 topic sh kafka-topics.sh --list --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 顯示當前全部topic sh kafka-topics.sh --describe --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 sh kafka-console-producer.sh --broker-list 10.32.58.12:9092 --topic test01 建立生產者發佈消息 sh kafka-console-consumer.sh --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --topic test01 --from-beginning 接收消息 sh kafka-topics.sh --delete --zookeeper 10.32.34.2:2181,10.32.58.12:2181,10.32.56.39:2181 --topic test01 刪除test01 topic

 

3、kafka-manager部署安裝

一、建立kafka-manager，安裝sbt，下載編譯

groupadd kafka-manager useradd -g kafka-manager kafka-manager mkdir -p /home/kafka-manager curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ yum install sbt git clone https://github.com/yahoo/kafka-manager.git cd kafka-manager sbt clean dist

 

二、啓動、指定配置文件和啓動端口號，默認9000

unzip kafka-manager-1.3.0.4.zip vim kafka-manager-1.3.0.4/conf/application.conf nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port 9001 &