kafka&zookeeper

1、搭建Zookeeper集羣
Zookeeper是一個分佈式開源框架，提供了協調分佈式應用的基本服務，它向外部應用暴露一組通用服務——分佈式同步（Distributed Synchronization）、命名服務（Naming Service）、集羣維護（Group Maintenance）等，簡化分佈式應用協調及其管理的難度，提供高性能的分佈式服務。ZooKeeper自己能夠以單機模式安裝運行，不過它的長處在於經過分佈式ZooKeeper集羣（一個Leader，多個Follower），基於必定的策略來保證ZooKeeper集羣的穩定性和可用性，從而實現分佈式應用的可靠性。

1.在zookeeper.apache.org上下載zookeeper-3.4.8.tar.gz
2.解壓 tar -xzvf zookeeper-3.4.8.tar.gz
3.修改權限 sudo chown -R cms(ubuntu用戶名) zookeeper-3.4.8
4.修改配置文件 /etc/profile，增長

5.對Zookeeper的配置文件的參數進行設置
進入zookeeper-3.4.5/conf
1)cp zoo_sample.cfg zoo.cfg
2)在zookeeper下新建一個存放數據的目錄
mkdir zookerperdata
3)vim zoo.cfg
4)注意上圖的配置中master，slave1分別爲主機名
在上面的配置文件中"server.id=host:port:port"中的第一個port是從機器（follower）鏈接到主機器（leader）的端口號，第二個port是進行leadership選舉的端口號。
5)建立myid
接下來在dataDir所指定的目錄下(zookeeper-3.4.8/zookerperdata/)建立一個文件名爲myid的文件，文件中的內容只有一行，爲本主機對應的id值，也就是上圖中server.id中的id。例如：在服務器1中的myid的內容應該寫入1。
vim myid
6)遠程複製到slave1,slave2相同的目錄下
scp -r zookeeper-3.4.8 cms@slave1:/home/cms/
scp -r zookeeper-3.4.8 cms@slave1:/home/cms/
7)修改slave1,slave2機器上的myid的值分別爲2和3
啓動ZooKeeper集羣
在ZooKeeper集羣的每一個結點上，執行啓動ZooKeeper服務的腳本，以下所示：

其中，QuorumPeerMain是zookeeper進程，啓動正常。
如上依次啓動了全部機器上的Zookeeper以後能夠經過ZooKeeper的腳原本查看啓動狀態，包括集羣中各個結點的角色（或是Leader，或是Follower），以下所示，是在ZooKeeper集羣中的每一個結點上查詢的結果

2、搭建kafka集羣

1.下載
下載官網：http://kafka.apache.org/downloads
下載版本：與本身安裝的Scala版本對應的版本，我的習慣是下載最新版本的前一版
kafka_2.11-0.10.0.1.tgz
2.安裝
tar -xzf kafka_2.11-0.10.0.1.tgz
cp kafka_2.11-0.10.0.1.tgz /home/cms/kafka
3.配置環境變量
即path、classpath,意義不大，可不配置
4.修改配置文件kafka/config/server.properties

5.在kafka的目錄下，創建kafka存儲數據的目錄
mkdir kafkalogs
6.其餘節點配置
將kafka文件複製到其餘節點

broker.id=1 #整個集羣內惟一id號，整數，通常從0開始
listeners=PLAINTEXT://192.168.31.132:9092 #協議、當前broker機器ip、端口
port=9092 #broker端口
host.name=192.168.31.132 #broker 機器ip

7.每一個節點下啓動zookerper
8.啓動kafka進程，在每一個節點的kafka/bin目錄下

--zookeeper : zookeeper集羣列表，用英文逗號分隔。能夠不用指定zookeeper整個集羣內的節點列表，只指定某個或某幾個zookeeper節點列表也是你能夠的
replication-factor ： 複製數目，提供failover機制；1表明只在一個broker上有數據記錄，通常值都大於1，表明一份數據會自動同步到其餘的多個broker，防止某個broker宕機後數據丟失。
partitions ： 一個topic能夠被切分紅多個partitions，一個消費者能夠消費多個partitions，但一個partitions只能被一個消費者消費，因此增長partitions能夠增長消費者的吞吐量。kafka只保證一個partitions內的消息是有序的，多個一個partitions之間的數據是無序的。

9.啓動生產者和消費者
生產者：kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test5
--broker-list : 值能夠爲broker集羣中的一個或多個節點
消費者：
kafka-console-consumer.sh --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5 --from-beginning
--zookeeper : 值能夠爲zookeeper集羣中的一個或多個節點
--from-beginning 表示從開始第一個消息開始接收

10.查看topic
kafka-topics.sh --list --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181
11.查看topic詳情
kafka-topics.sh --describe --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5

狀態說明：test有三個分區分別爲一、二、3，分區0的leader是3（broker.id），分區0有三個副本，而且狀態都爲lsr（ln-sync，表示能夠參加選舉成爲leader）。

12.建立分區爲三、備份爲3的topic
bin/kafka-topics.sh --create --zookeeper 192.168.31.131:2181,192.168.31.132:2182,192.168.31.133:2183 --replication-factor 3 --partitions 3 --topic test5

13.刪除topic
在config/server.properties中加入delete.topic.enable=true並重啓服務，在執行以下命令

kafka-topics.sh --delete --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5