kafka安裝以及常見問題的解決【如:服務端是ok的,java客戶端卻始終調不通】

安裝步驟:html

下載     http://kafka.apache.org/downloads.htmljava

tar -zxvf kafka_2.10-0.8.1.1.tgz

啓動服務:  首先啓動zookeeper服務    linux

bin/zookeeper-server-start.sh config/zookeeper.properties &

啓動Kafkaapache

bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

建立topic         建立一個"test"的topic,一個分區一個副本     centos

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看主題  服務器

bin/kafka-topics.sh --list --zookeeper localhost:2181

查看主題詳情   spa

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

刪除主題code

bin/kafka-run-class.sh kafka.admin.TopicCommand –delete --topic test --zookeeper 10.1.10.77:2181

記得第一次安裝時候java客戶端卻始終調不通,調了好久,一直不通,都是是按網上步驟一步一步安裝的,安裝也沒有報錯,直接在linux上面經過如下命令、server

建立生產者 producerhtm

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

服務端是ok的,可以發送消息

另外開一個secure SSH,一樣鏈接該服務器,建立一個consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

執行以上代碼後消費者可以對生產者發送的消息進行消費

可是java 客戶端就是調不通,重試3次就拋異常了

注意:若是kafka及zookeeper採用的是集羣方式部署的,能夠使用如下命令穿件consumer:

[root@centos67-84 kafka_2.11-0.10.0.1]# bin/kafka-console-consumer.sh --zookeeper 10.1.10.83:2181,10.1.10.87:2182,10.1.10.88:2183  --topic test

 能夠在任意一臺參與集羣的系統kafka目錄中執行,使用逗號分割集羣的zookeeper及端口,zookeeper集羣保存在kafka的

[root@centos67-84 config]# pwd
/home/liuwei/kafka_2.11-0.10.0.1/config
[root@centos67-84 config]# ls
connect-console-sink.properties    connect-file-source.properties  log4j.properties        zookeeper.properties
connect-console-source.properties  connect-log4j.properties        producer.properties
connect-distributed.properties     connect-standalone.properties   server.properties
connect-file-sink.properties       consumer.properties             tools-log4j.properties

###查看當前kafka所用的zookeeper
[root@centos67-84 config]# cat server.properties | grep zookeeper
# Zookeeper connection string (see zookeeper docs for details).
zookeeper.connect=10.1.10.83:2181,10.1.10.87:2182,10.1.10.88:2183
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

解決方案:

 編輯 這個文件打開下面紅色部分加上去,重啓kafka就解決啦

[root@localhost kafka_2.11-0.10.1.0]# vi ./config/server.properties  vi ./config/server.properties

相關文章
相關標籤/搜索