kafka筆記2

Kafka是使用java開發的程序，因此它能夠運行在多種操做系統上，安裝Kafka以前，須要先安裝Java環境，再安裝zookeeper

broker常規配置

1.broker.id

每一個broker都須要有一個標識符，使用broker.id來表示，在整個集羣上必須惟一，建議把他們設置成與機器名具備相關性的整數。

2.port

默認狀況下啓動Kafka，它會監聽9092端口，也能夠設置其餘端口。

3.zookeeper.connect

用於保存broker元數據的zookeeper地址，相似localhost：2181，表示這個zookeeper運行在本地的2181端口上。

4.log.dirs

Kafka把消息保存在磁盤上，地址用log.dirs指定，它是一組逗號分隔的本地文件系統路徑。

5.num.recovery.threads.per.data.dir

正常啓動或者重啓後Kafka使用可配置的線程池處理消息片斷，設置大量線程能夠節省時間。這個數字乘以log.dirs獲得總的線程數。

6.auto.create.topics.enable

是否顯式建立主題，若是手動建立，能夠設爲false。

Kafka默認設置

1.num.partitions

一個主題須要多少分區

2.log.retention.ms

數據能夠保留多久，默認是168小時

3.log.retention.bytes

每一個分區保留數據的最大字節數，若是設置爲1G，當前主題8個分區，則這個主題最多保存8G數據。

4.log.segment.bytes

日誌片斷的最大長度

5.log.segments.ms

日誌片斷多長時間會被關閉，和上一個條件在一塊兒，只要一個獲得知足，日誌片斷就會被關閉。

6.message.max.bytes

單個消息的大小，默認是1000000（1MB），若是生產者發送的消息超過這個，就會收到錯誤信息。