大數據 --> Kafka集羣搭建

Kafka集羣搭建

 

下面是以三臺機器搭建爲例，（擴展到4臺以上同樣，修改下配置文件便可）

 一、下載kafka

http://apache.fayea.com/kafka/0.9.0.1/ ，拷貝到三臺服務器，並解壓文件

 

二、 修改配置文件 server.properties:

183服務器：

broker.id=0
host.name=132.228.28.183
advertised.host.name=132.228.28.183
zookeeper.connect=132.228.28.183:2182,132.228.28.184:2182,132.228.28.185:2182

184服務器：

broker.id=0
host.name=132.228.28.183
advertised.host.name=132.228.28.183
zookeeper.connect=132.228.28.183:2182,132.228.28.184:2182,132.228.28.185:2182

185服務器：

broker.id=0
host.name=132.228.28.183
advertised.host.name=132.228.28.183
zookeeper.connect=132.228.28.183:2182,132.228.28.184:2182,132.228.28.185:2182

 

三、 添加主機域名，啓動zookeeper可能會找不到host.name致使出錯

183服務器：
在文件/etc/hosts末尾添加：
132.228.28.183  dsjtest01
 
184服務器：
在文件/etc/hosts末尾添加：
132.228.28.184  dsjtest02

185服務器：
在文件/etc/hosts末尾添加：
132.228.28.185  dsjtest03

 

四、 啓動kafka

進入到kafka的bin目錄，三臺服務器都要啓動

啓動zookeeper： ./zookeeper-server-start.sh ../config/zookeeper.properties &

啓動kafka： ./kafka-server-start.sh ../config/server.properties &

 

5、測試

在183建立topic：

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test  

 

在184生產消息，發送到kafka

./kafka-console-producer.sh --broker-list 132.228.28.183:9092 --topic test 

終端輸入：hello kafka

 

在185消費消息

./kafka-console-consumer.sh --zookeeper 132.228.28.183:2181 --topic test --from-beginning

接收到消息：hello kafka