CentOS7 搭建Kafka（二）kafka篇

CentOS7 搭建Kafka（二）kafka篇

前面咱們說了zookeeper的搭建，zookeeper運行後就能夠着手搭建kafka了。

必看

喜歡官方文檔的請移步：[http://kafka.apache.org/documentation.html]<br/> 寫的比我好的多請移步：[http://www.javashuo.com/article/p-azoogwkc-ee.html]<br/> 比較完整的教程請移步：[https://www.w3cschool.cn/apache_kafka/apache_kafka_introduction.html]

安裝

官方的下載頁有source和binary兩個版本，這裏下載的binary，source版本你得本身編譯後才能用。

wget -c http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -zxvf kafka_2.11-1.1.0.tgz
mv kafka_2.11-1.1.0 /opt/kafka_1.1
cd /opt/kafka_1.1

配置

kafak的配置文件在/opt/kafka_1.1/config下叫server.propertie，釋義以下：

broker.id=0  #當前機器在集羣中的惟一標識，和zookeeper的myid性質同樣，可是無論你怎麼配，別配0就是，否則建立Topic的時候回報錯。
port=19092 #當前kafka對外提供服務的端口默認是9092
host.name=192.168.7.100 #這個參數默認是關閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題。
num.network.threads=3 #這個是borker進行網絡處理的線程數
num.io.threads=8 #這個是borker進行I/O處理的線程數
log.dirs=/opt/kafka/kafkalogs/ #消息存放的目錄，這個目錄能夠配置爲「，」逗號分割的表達式，上面的num.io.threads要大於這個目錄的個數這個目錄，若是配置多個目錄，新建立的topic他把消息持久化的地方是，當前以逗號分割的目錄中，那個分區數最少就放那一個
socket.send.buffer.bytes=102400 #發送緩衝區buffer大小，數據不是一會兒就發送的，先回存儲到緩衝區了到達必定的大小後在發送，能提升性能
socket.receive.buffer.bytes=102400 #kafka接收緩衝區大小，當數據到達必定大小後在序列化到磁盤
socket.request.max.bytes=104857600 #這個參數是向kafka請求消息或者向kafka發送消息的請請求的最大數，這個值不能超過java的堆棧大小
num.partitions=1 #默認的分區數，一個topic默認1個分區數
log.retention.hours=168 #默認消息的最大持久化時間，168小時，7天
message.max.byte=5242880  #消息保存的最大值5M
default.replication.factor=2  #kafka保存消息的副本數，若是一個副本失效了，另外一個還能夠繼續提供服務
replica.fetch.max.bytes=5242880  #取消息的最大直接數
log.segment.bytes=1073741824 #這個參數是：由於kafka的消息是以追加的形式落地到文件，當超過這個值的時候，kafka會新起一個文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ），到目錄查看是否有過時的消息若是有，刪除
log.cleaner.enable=false #是否啓用log壓縮，通常不用啓用，啓用的話能夠提升性能
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #設置zookeeper的鏈接端口

實際上須要修改的就幾個：

broker.id=133  #每臺服務器的broker.id都不能相同
host.name=192-168-253-133 #主機名
listeners=PLAINTEXT://192.168.253.133:9092 #監聽地址

#在log.retention.hours=168 下追加
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

#設置zookeeper的鏈接端口
zookeeper.connect=192.168.253.133:12181

啓動命令：

/opt/kafka_1.1/bin/kafka-server-start.sh -daemon /opt/kafka_1.1/config/server.properties

當kafka啓動成功後，在終端上輸入「jps」，會獲得相應以下：

7253 Jps
5850 ZooKeeperMain
6076 QuorumPeerMain
6093 Kafka

QuorumPeerMain是zookeeper的守護進程，kafka是kafka的守護進程。

經常使用命令

• 建立主題

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic

• 列出主題

bin/kafka-topics.sh --list --zookeeper localhost:2181

• 運行producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MyTopic

• 運行consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic MyTopic --from-beginning