spark集羣搭建（三臺虛擬機）——kafka集羣搭建（4）

！！！該系列使用三臺虛擬機搭建一個完整的spark集羣，集羣環境以下：

virtualBox5.二、Ubuntu14.0四、securecrt7.3.6_x64英文版（鏈接虛擬機）

jdk1.7.0、hadoop2.6.五、zookeeper3.4.五、Scala2.12.六、kafka_2.9.2-0.8.一、park1.3.1-bin-hadoop2.6

第一篇：準備三臺虛擬機環境，配置靜態IP，ssh免密碼登陸

第二篇：搭建hadoop集羣

第三篇：搭建zookeeper集羣

第四篇：搭建kafka集羣

第五篇：搭建spark集羣

本文在前面基礎上搭建kafka

1、Scala安裝（2.12.6）

在spark1上:

一、下載解壓重命名

二、配置Scala環境變量：

export SCALA_HOME=/usr/local/bigdata/scala
export PATH=$PATH:$SCALA_HOME/bin

三、驗證Scala

root@spark1:/usr/local/bigdata/zk/conf# scala -version
Scala code runner version 2.12.6 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

　　

四、拷貝到spark2 和spark3上

$ cd /usr/local/bigdata
root@spark1:/usr/local/bigdata# scp -r scala root@spark2://usr/local/bigdata/
root@spark1:/usr/local/bigdata# scp -r scala root@spark3://usr/local/bigdata/

五、同理配置spark2和spark3環境變量

2、kafka（kafka_2.9.2-0.8.1）

在spark1上：

一、kafka下載解壓重命名

二、修改server.properties

$ cd /usr/local/bigdata/kafka
$ cd ./config
$ vim server.properties

按順序添加zookeeper的三臺主機名

zookeeper.connect=192.168.43.124:2181,192.168.43.123:2181,192.168.43.125:2181

三、進入bin目錄下

$ vim kafka-run-class.sh

找到

  KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

去掉

 -XX:+UseCompressedOops

四、slf4j-1.7.6

下載：連接：https://pan.baidu.com/s/1UQ728d7YOdRssrgYEUArUA 密碼：h7bu

解壓，將slf4j-nop-1.7.6.jar複製到 kafka 的libs 目錄下

五、將kafka拷貝到spark2和spark3上

root@spark1:/usr/local/bigdata# scp -r kafka root@spark2://usr/local/bigdata/
root@spark1:/usr/local/bigdata# scp -r kafka root@spark3://usr/local/bigdata/

修改spark2上的kafka 的server.properties文件，將broker.id值改成1

broker.id=1

修改spark3上的kafka 的server.properties文件，將broker.id值改成2

 broker.id=2

3、啓動kafka，三臺機器均須要啓動

$ cd kafka  #進入kafka安裝目錄下
$ ./bin/kafka-server-start.sh config/server.properties & 

啓動成功

root@spark1:~# jps
2465 Jps
2435 NodeManager
2307 ResourceManager
1955 DataNode
1829 NameNode
1605 Kafka
2154 SecondaryNameNode
1519 QuorumPeerMain

 

若是啓動出現卡住不動多是內存不夠，解決：

將 kafka-server-start.sh的
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
修改成
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"