6.kafka安裝 基本使用

1.將kafka解壓在/opt/kafka

2.配置kafka集羣

1.修改config/server.properties文件

$ vi config/server.properties

1.增長host.name主機名（解析須要） broker 爲當前集羣id

host.name=master

2.配置zookeeper

將zookeeper.connect替換成具體的地址

zookeeper.connect=master:2181,slave0:2181,slave1:2181

2.將kafka scp到slave0跟slave1 的/opt/kafka目錄下

$scp kafka copy-master@slave0:/opt
$scp kafka copy-master@slave1:/opt

3.進入slave0跟slave1修改config/server.properties配置中的broker.id跟host.name

slave0:  borker.id=1
        host.name=slave0
slave1:  borker.id=2
        host.name=slave1

3.啓動集羣

分別在master,slave0,slave1啓動集羣

前臺啓動：

$bin/kafka-server-start.sh config/server.properties

後臺靜默啓動：

$bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &

4.基本使用

建立主題

$bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

查看有哪些主題

$bin/kafka-topics.sh --list --zookeeper master:2181

建立生產者 （發出消息來源 入口）

$bin/kafka-console-producer.sh --broker-list master:9092 --topic test

建立消費者（接受消息的）

$bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

查看主題中的信息

$bin/kafka-topics.sh --describe --zookeeper master:2181 --topic test

延伸

同步數據可使用工具採集數據 -》傳到kafka-》經過kafka到收集處-》對數據進行操做
例如

1日誌的處理
將日誌存儲到hdfs
Hadoop實戰：使用Maxwell把MySQL數據實時同步到HDFS

測試MySQL->Maxwell->Kafka->Flume->HDFS 2.可使用kafka做爲mysql數據同步