KAKFA的安裝使用

HDFS正常啓動

zookeeper正常安裝

sw目錄下的KAFKA解壓安裝

tar zxvf kafka_2.11-0.11.0.2.tgz

mv kafka_2.11-0.11.0.2   ../md/

配置環境變量

vi ~/.bash_profile

export KAFKA_HOME=/home/a/md/kafka_2.11-0.11.0.2

export PATH=$KAFKA_HOME/bin:$PATH

source ~/.bash_profile

cd ~/md/kafka_2.11-0.11.0.2/config/目錄下，修改server.properties,這裏要注意啓動幾個kafka就要配置幾個server.properties

server.properties主要配置參數

broker.id=0   

delete.topic.enable=true  是否能夠刪除主題

listeners=PLAINTEXT://:9092  默認的端口，若是有多個的話，就要依次在每一個server.properties中設置listeners=PLAINTEXT://:9092     server1.properties listeners=PLAINTEXT://:9093，server2.properties listeners=PLAINTEXT://:9094

log.dirs=/home/a/md/kafka_2.11-0.11.0.2/data1  爲kafka要緩存的數據位置，

zookeeper.connect=master:12181/kafka0.11　　鏈接到zookeeper哪裏，若是有多個zookeeper服務器都要以逗號隔開，所有寫上。

kafka如何啓動呢

啓動第1個:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server1.properties

啓動第2個:kafka-server-start.sh -daemon ~/md/kafka_2.11-0.11.0.2/config/server2.properties

...

如何查看kafka相關信息呢？

zkCli.sh -server master:12181

ls /

 

 

get  /kafka0.11/brokers/ids/0

 

 建立topic呢？

kafka-topics.sh --create -topic mykafka1 --zookeeper master:12181/kafka0.11 --partitions 3 --replication-factor 1

查看topic呢

kafka-topics.sh --list --zookeeper master:12181/kakfa0.11

刪除topic

kafka-topic.sh --delete -topic  -zookeeper master:12181/kafka0.11

 

 

 經過zkCli.sh -server master:12181能夠進行各類源信息的查詢。

 　查詢當前topic下面的全部記錄數

　　kafka-run-classs.sh kafka.tools.GetOffsetShell  --topic mykafka2 --broker-list  master:9092,master:9093

　　

　查詢topic在分區上的記錄數

　　kafka-run-class.sh kafka.tools.GetOffsetShell  --topic mykafka2 --broker-list master:9092,master:9093 --partitions 0

　　kafka-run-class.sh kafka.tools.GetOffsetShell  --topic mykafka2 --broker-list master:9092,master:9093 --partitions 1

　　kafka-run-class.sh kafka.tools.GetOffsetShell  --topic mykafka2 --broker-list master:9092,master:9093 --partitions 2

　　

 

　配置producer 和cusumoer進行通訊

　producer生產數據

　

　consumer接收數據