Apache Kafka（二）- Kakfa 安裝與啓動

安裝並啓動Kafka

1.下載最新版Kafka（當前爲kafka_2.12-2.3.0）並解壓：

> wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz

> tar zxvf kafka_2.12-2.3.0.tgz

 

2. 檢查Java 環境是否正確：

> cd kafka_2.12-2.3.0

> bin/kafka-topics.sh

 

如果沒法成功執行，則檢查 Java 環境是否正確配置（此例中使用Java 8）

 

3. 將kafka執行腳本目錄加入環境變量：

> vi ~/.bash_profile

> export PATH="$PATH:/home/hadoop/kafka_2.12-2.3.0/bin"

 

4. 啓動Zookeeper

> zookeeper-server-start.sh config/zookeeper.properties

 

 

 

查看 config/zookeeper.properties 文件，能夠看到基本配置：

# the directory where the snapshot is stored.

dataDir=/tmp/zookeeper

# the port at which the clients will connect

clientPort=2181

# disable the per-ip limit on the number of connections since this is a non-production config

maxClientCnxns=0

 

其中須要將dataDir修改成非/tmp 目錄，以將數據持久化，例如：

dataDir=/home/hadoop/kafka_2.12-2.3.0/data/zookeeper

 

而後重啓zookeeper：

> zookeeper-server-start.sh config/zookeeper.properties

 

以後能夠在dataDir目錄下查看到zookeeper數據目錄：

> pwd

/home/hadoop/kafka_2.12-2.3.0/data/zookeeper/version-2

 

5. 啓動Kafka

首先修改 conf/server.properties 文件，能夠看到日誌文件地址爲：

# A comma separated list of directories under which to store log files

log.dirs=/tmp/kafka-logs

 

修改此路徑爲非/tmp目錄，以落盤log數據，例如：

log.dirs=/home/hadoop/kafka_2.12-2.3.0/data/kafka-logs

 

而後啓動Kafka：

> kafka-server-start.sh config/server.properties

 

 

 

查看 data/kafka-logs，能夠看到如下文件：

> ls

cleaner-offset-checkpoint    meta.properties                   replication-offset-checkpoint

log-start-offset-checkpoint  recovery-point-offset-checkpoint