安裝部署Kafka集羣

kafka是一個開源的分佈式消息訂閱系統（消息中間件）

安裝過程

1.下載kafka_2.11-0.10.1.0.gz（ps:千萬不要下錯了，博主就是下到了src文件上去了，kafka中的zookeeper起不起來）

2.上傳至/usr/local/src

3.解壓縮，而且移動到上級目錄

4.進入主目錄的config子目錄，

5.修改server.properties配置文件

vim server.properties

內容以下：

6.保存並退出

7.主節點配置完畢，遠程複製到另外兩個節點

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local
scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi130:/usr/local

8.修改另外兩個節點的server.properties 配置文件

修改內容分別以下：

主機：guoyansi129　　

############################# Server Basics #############################
broker.id=1
host.name=guoyansi129

主機guoyansi130

############################# Server Basics #############################
broker.id=2
host.name=guoyansi130

 9.啓動kafka的zookeeper服務

bin/zookeeper-server-start.sh config/zookeeper.properties

顯示一些信息後；界面進入停頓狀態；表示zookeeper啓動成功；此時不要關閉窗口；

10.啓動主節點的kafka服務

新開一個guoyansi128終端；

啓動方式一：退出後，kafka就自動關閉了。

bin/kafka-server-start.sh config/server.properties

因爲Kafka是做爲守護進程加載的，執行上述命令後終端顯示停頓狀態，這表示系統已經處於後臺運行狀態，

因此不要關閉該終端，只要保持當前狀態便可。

啓動方式二：退出後，kafka照常運行，提供服務。

nohup bin/kafka-server-start.sh config/server.properties >> /tmp/out.log &

上面是進程守護模式啓動kafka

還能夠另外開一個終端，執行jps查看當前系統的進程列表

這裏的QuorumPeerMain就是Kafka自帶的zookeeper服務進程；

而kafka天然就是Kafka服務進程。

11.啓動另外兩個節點的Kafka服務；執行一樣的命令：

bin/kafka-server-start.sh config/server.properties

12.主節點建立主題：

使用kafka，必定須要建立消息主題；

建立test主題

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test

查看主題消息：

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181

 

 13.另起終端建立消息生產者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test

界面處於等待狀態

14.另起終端建立消息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning

此時界面一樣處於等待狀態

15.從13步的界面（生產者界面）輸入信息，就會從14步（接收者界面）看到生產者界面輸入的信息。

16.查看主題中的信息：

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test

 

17.由於是集羣部署，因此能夠在任何節點接收消息和建立消息。