kafka1：Kafka集羣部署步驟

參考：

kafka 集羣--3個broker 3個zookeeper建立實戰

細細品味Kafka_Kafka簡介及安裝_V1.3   http://www.docin.com/p-1291437890.html

 

一. 準備工做：

    1. 準備3臺機器，IP地址分別爲：192.168.3.230（233，234）

    2. 下載kafka穩定版本，個人版本爲：Scala 2.11  - kafka_2.11-0.9.0.0.tgz

        http://kafka.apache.org/downloads.html

    3. 分別解壓放入到想安裝的目錄下，個人目錄爲:/home/rasa 解壓命令爲：

        tar -xzf *.tgz

 

2、搭建zookeeper集羣

    1.進入解壓後的目錄/home/rasa/kafka_2.11-0.9.0.0

    2. 進入config目錄下，修改zookeeper.properties文件（全部機器相同）

        tickTime = 2000

        dataDir = /data/zookeeper/

        clientPort = 2181

        initLimit = 5

        syncLimit = 2

        server.1 = 192.168.3.230:2888:3888

        server.2 = 192.168.3.233:2888:3888

        server.3 = 192.168.3.234:2888:3888

 

    3.在dataDir目錄/data/zookeeper/下寫一個myid文件，命令以下：

        echo 1 >myid

        注意：這個id是zookeeper的主機標示，每一個主機id不一樣第二臺是2 第三臺是3。

 

    4.逐次啓動3臺機器的zookeeper 構成一個集羣：

        > bin/zookeeper-server-start.sh config/zookeeper.properties &

        因爲ZooKeeper集羣啓動的時候，每一個結點都試圖去鏈接集羣中的其它結點，先啓動的確定連不上後面還沒啓動的，因此打印出來的部分的異常是能夠忽略的。集羣在選出一個Leader後，最後穩定了。其餘結點可能也出現相似問題，屬於正常。

 

3、搭建kafka集羣

    1.進入config目錄，修改server.properties（逐個機器修改）

        broker.id = 1 （其餘機器爲 2/3 ）

        port = 9092

        zookeeper.connect = 192.168.3.230:2181,192.168.3.233:2181,192.168.3.234:2181

        log.dirs = /home/rasa/kafka-logs

        host.name = 192.168.3.230

        advertised.host.name = 192.168.3.230

    2.啓動每臺服務器的kafka：

        > bin/kafka-server-start.sh config/server.properties &

 

4、測試集羣

    1.建立一個topic

        > bin/kafka-topics.sh --create --zookeeper 192.168.3.230:2181 --replication-factor 3 --partitions 1

            --topic test-topic

 

    2.查看建立的topic

        > bin/kafka-topics.sh --describe --zookeeper 192.168.3.230:2181 --topic test-topic

            Topic:test-replicated-topic    PartitionCount:1    ReplicationFactor:3    Configs:

            Topic: test-replicated-topic    Partition: 0    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0

 

     3.查看topic列表

          > bin/kafka-topics.sh --list --zookeeper 192.168.3.230 :2181 

　　　　test

　　　　test-topic

 　　 查看列表及具體信息

          > bin/kafka-topics.sh --zookeeper localhost --describe

 

    4.查看集羣狀況：

        >bin/kafka-topics.sh --describe --zookeeper 192.168.3.233:2181 --topic test-topic

        >bin/kafka-topics.sh --describe --zookeeper 192.168.3.234:2181 --topic test-topic

        發現都能看到test-topic。

 

     5.生產消息

          > bin/kafka-console-producer.sh --broker-list 192.168.3.234:9092 -topic test-topic

     6.消費消息

          > bin/kafka-console-consumer.sh --zookeeper 192.168.3.234:2181 --from-beginning --topic test-topic