spark學習筆記-kafka集羣搭建(6)

時間 2019-12-11

標籤 spark 學習筆記 kafka 集羣搭建欄目 Spark 简体版

原文原文鏈接

安裝scala 2.11.4java

 1 一、將scala-2.11.4.tgz使用WinSCP拷貝到spark1的/usr/local目錄下。
 2 二、對scala-2.11.4.tgz進行解壓縮：tar -zxvf scala-2.11.4.tgz。
 3 三、對scala目錄進行重命名：mv scala-2.11.4 scala
 4 4、配置scala相關的環境變量
 5 vi .bashrc
 6 export SCALA_HOME=/usr/local/scala
 7 export PATH=$SCALA_HOME/bin
 8 source .bashrc
 9 五、查看scala是否安裝成功：scala -version
10 六、按照上述步驟在spark2和spark3機器上都安裝好scala。使用scp將scala和.bashrc拷貝到spark2和spark3上便可。

安裝Kafka包bash

一、將課程提供的kafka_2.9.2-0.8.1.tgz使用WinSCP拷貝到spark1的/usr/local目錄下。
二、對kafka_2.9.2-0.8.1.tgz進行解壓縮：tar -zxvf kafka_2.9.2-0.8.1.tgz。
三、對kafka目錄進行更名：mv kafka_2.9.2-0.8.1 kafka
4、配置kafka
vi /usr/local/kafka/config/server.properties
broker.id：依次增加的整數，0、一、二、三、4，集羣中Broker的惟一id
zookeeper.connect=192.168.1.107:2181,192.168.1.108:2181,192.168.1.109:2181
5、安裝slf4j
將課程提供的slf4j-1.7.6.zip上傳到/usr/local目錄下
unzip slf4j-1.7.6.zip
把slf4j中的slf4j-nop-1.7.6.jar複製到kafka的libs目錄下面

搭建kafka集羣less

一、按照上述步驟在spark2和spark3分別安裝kafka。用scp把kafka拷貝到spark2和spark3行便可。測試

二、惟一區別的，就是server.properties中的broker.id，要設置爲1和2spa

啓動kafka集羣scala

一、在三臺機器上分別執行如下命令：nohup bin/kafka-server-start.sh config/server.properties &

二、解決kafka Unrecognized VM option 'UseCompressedOops'問題
vi bin/kafka-run-class.sh 
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
去掉-XX:+UseCompressedOops便可

三、使用jps檢查啓動是否成功

測試kafka集羣code

使用基本命令檢查kafka是否搭建成功

bin/kafka-topics.sh --zookeeper 192.168.1.107:2181,192.168.1.108:2181,192.168.1.109:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create

bin/kafka-console-producer.sh --broker-list 192.168.1.107:9092,192.168.1.108:9092,192.168.1.109:9092 --topic TestTopic

bin/kafka-console-consumer.sh --zookeeper 192.168.1.107:2181,192.168.1.108:2181,192.168.1.109:2181 --topic TestTopic --from-beginning