hadoop2.7+spark2.2+zookeeper3.4.簡單安裝

一、zookeeper的安裝
##配置/etc/hosts
192.168.88.130 lgh
192.168.88.131 lgh1
192.168.88.132 lgh2

##安裝java8
解壓配置環境便可

##ssh(每一臺機器)
ssh-keyscan #生成密碼
ssh-copy-id lgh2 #複製到不一樣機器

##建立用戶
useradd -d /home/spark spark
passwd spark

##解壓
tar -zxvf zookeeper-3.4.8.tar.gz -C xxx目錄

##建立軟連接（每一臺機器）
ln -s zookeeper-3.4.8 zookeeper

##建立環境變量
vim ~/.bashrc
export ZOOKEEPER_HOME=/home/spark/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

##修改配置文件
cd /home/spark/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

#配置信息以下：
tickTime=2000 #服務器與客戶端之間交互的基本時間單元（ms）
initLimit=10 # 此配置表示容許follower鏈接並同步到leader的初始化時間，它以tickTime的倍數來表示。當超過設置倍數的tickTime時間，則鏈接失敗
syncLimit=5 # Leader服務器與follower服務器之間信息同步容許的最大時間間隔，若是超過次間隔，默認follower服務器與leader服務器之間斷開連接
dataDir=/home/spark/zookeeper/data #保存zookeeper數據路徑
dataLogDir=/home//spark/zookeeper/dataLog #保存zookeeper日誌路徑，當此配置不存在時默認路徑與dataDir一致
clientPort=2181 #客戶端訪問zookeeper時通過服務器端時的端口號
server.1=lgh:2888:3888 #表示了不一樣的zookeeper服務器的自身標識，做爲集羣的一部分，每一臺服務器應該知道其餘服務器的信息
server.2=lgh1:2888:3888
server.3=lgh2:2888:3888
maxClientCnxns=60 #限制鏈接到zookeeper服務器客戶端的數量

##建立myid文件
cd /home/spark/zookeeper/data
vim myid #輸入1

##複製到其餘機器
scp -r zookeeper-3.4.8 spark@lgh1:/home/spark/
scp -r zookeeper-3.4.8 spark@lgh2:/home/spark/

#修改myid文件
不一樣機器數字不同，分別爲2和3

##啓動
zkServer.sh start

#查看狀態
zkServer.sh status

#查看進程
jps
QuorumPeerMain

二、hadoop安裝

##解壓
tar -zxvf hadoop-2.7.7.tar.gz -C xxx目錄

##修改vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk

##修改 vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lgh:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/spark/hadoop-2.7.7/tmp</value>　　　　　　　　　
</property>
</configuration>

##修改vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
　　</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hdfs/data</value>
</property>
</configuration>

#修改vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

##修改yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

##修改 vim slaves
lgh
lgh1
lgh2

##複製到其餘機器
scp -r hadoop-2.7.7/ spark@lgh1:/home/spark/
scp -r hadoop-2.7.7/ spark@lgh2:/home/spark/

##配置環境變量
HADOOP_HOME=/home/spark/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##格式化
hdfs namenode -format

##啓動
start-all.sh

##查看進程
#主節點
9616 QuorumPeerMain
11264 ResourceManager
10818 DataNode
11061 SecondaryNameNode
11751 Jps
10714 NameNode
11370 NodeManager

#從節點
2273 QuorumPeerMain
2547 NodeManager
2438 DataNode
2653 Jps

三、spark的安裝
##安裝scala
tar -zxvf scala-2.12.8.tgz -C /usr/local/
ln -s scala-2.12.8/ scala

##配置環境變量
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH

##複製到其餘機器並創建軟連接
scp -r scala-2.12.8/ root@lgh1:/usr/local/
scp -r scala-2.12.8/ root@lgh2:/usr/local/

##解壓spark
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C xxx目錄

##修改配置文件
cd /home/spark/spark-2.2.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh

vim spark-env.sh
配置信息以下：
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/home/spark/hadoop
export HADOOP_CONF_DIR=/home/spark/hadoop/etc/hadoop
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=2g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

cp slaves.template slaves
vim slaves
配置信息以下：
lgh
lgh1
lgh2

##複製到其餘節點並創建軟連接
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh1:/home/spark/
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh2:/home/spark/

##配置環境變量
export SPARK_HOME=/home/spark/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

##啓動
cd /home/spark/spark/sbin && ./start-all.sh

##jps查看主節點進程
9616 QuorumPeerMain
11264 ResourceManager
12704 Worker
10818 DataNode
12756 Jps
11061 SecondaryNameNode
12632 Master
10714 NameNode
11370 NodeManager

##jps查看從節點進程2240 DataNode2562 Worker2052 QuorumPeerMain2613 Jps