CentOS7搭建 Hadoop + HBase + Zookeeper集羣

時間 2019-12-08

標籤 centos7 centos 搭建 hadoop hbase zookeeper 集羣欄目 Tomcat 简体版

原文原文鏈接

摘要: 本文主要介紹搭建Hadoop、HBase、Zookeeper集羣環境的搭建
1、基礎環境準備java

一、下載安裝包（均使用當前最新的穩定版本，截止至2017年05月24日）node

1）jdk-8u131linux

下載地址：Java SE Development Kit 8web

2）hadoop-2.7.3apache

下載地址：Index of /apache/hadoop/common/hadoop-2.7.3vim

3）hbase-1.2.5bash

下載地址：Index of /apache/hbase/1.2.5app

4）zookeeper-3.4.10ssh

下載地址：Index of /apache/zookeeper/zookeeper-3.4.10webapp

二、修改hosts文件（使用的三臺集羣主機默認IP爲192.168.0.100、192.168.0.10一、192.168.0.102）

vim /etc/hosts

添加如下信息

192.168.0.100 master
192.168.0.101 slave1
192.168.0.102 slave2
三、安裝JDK

-- 解壓jdk安裝包

mkdir /usr/java

tar -zxvf jdk-8u131-linux-x64.tar.gx -C /usr/java

-- 拷貝jdk至slave1及slave2中

scp -r /usr/java slave1:/usr

scp -r /usr/java slave2:/usr

-- 設置jdk環境變量

vim /etc/environment

JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=/usr/java/jdk1.8.0_131/jre

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
四、設置免密登錄

slave1

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub

scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

slave2

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub

scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/

master

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys

cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes

-- 拷貝文件至slave1及slave2

scp ~/.ssh/authorized_keys slave1:~/.ssh

scp ~/.ssh/authorized_keys slave2:~/.ssh

五、關閉防火牆及SELINUX

-- 關閉防火牆

systemctl stop firewalld.service

systemctl disable firewalld.service

-- 關閉SELINUX

vim /etc/selinux/config

-- 註釋掉

SELINUX=enforcing

SELINUXTYPE=targeted

-- 添加
SELINUX=disabled
2、Hadoop環境搭建

一、解壓縮安裝包及建立基本目錄

tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr

cd /usr/hadoop-2.7.3

mkdir tmp logs hdf hdf/data hdf/name

二、修改hadoop配置文件

-- 修改 slaves 文件

vim /usr/hadoop-2.7.3/etc/hadoop/slaves

-- 刪除 localhost，添加
slave1
slave2

-- 修改 core-site.xml 文件

vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml

-- 在 configuration 節點中添加如下內容

fs.default.name
hdfs://master:9000

hadoop.tmp.dir
file:/usr/hadoop-2.7.3/tmp

-- 修改 hdfs-site.xml 文件

vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

-- 在 configuration 節點添加如下內容

dfs.datanode.data.dir
/usr/hadoop-2.7.3/hdf/data
true

dfs.namenode.name.dir
/usr/hadoop-2.7.3/hdf/name
true

-- 修改 mapred-site.xml 文件

cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml

vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml

-- 在 configuration 節點添加如下內容

mapreduce.framework.name
yarn

mapreduce.jobhistory.address
master:10020

mapreduce.jobhistory.webapp.address
master:19888

-- 修改 yarn-site.xml 文件

scp -r /usr/hadoop-2.7.3 slave1:/usr

scp -r /usr/hadoop-2.7.3 slave2:/usr

四、配置 master 和 slave 的 hadoop 環境變量

vim /etc/profile

-- 添加以下內容
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR

-- 保存後執行