hadoop徹底分佈式的安裝

 

 

下載地址：

centos 7.5	下載地址
清華	http://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
華爲	http://mirrors.huaweicloud.com/repository/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
搜狐	http://mirrors.sohu.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
阿里	http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso
網易	http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso

 

 

正式課各組件版本對照

 

安裝CentOS7

爲了節省資源，安裝時選擇最小化安裝，後續須要的軟件包按需安裝

 

簡便起見，安裝時最好設置好網絡

 

設置IPV4，禁用IPV6

 

點擊Begin Installation，設置root密碼和hadoop主帳號

 

安裝好以後關機，將整個虛擬機所在的目錄（好比hadoop-master)複製兩份：hadoop-slave1, hadoop-slave2

將三臺虛擬機開機，vmware workstation提示是否複製或移動了虛擬機，選擇【複製】

 

#關閉防火牆(root用戶)：

systemctl status firewalld

systemctl stop firewalld

systemctl disable firewalld

 

#臨時關閉內核防火牆

setenforce 0

#永久關閉內核防火牆

vi /etc/selinux/config

SELINUX=disabled

 

#分別修改三臺主機名和IP地址(root用戶)：

[root@master ~]# hostnamectl set-hostname master （其餘兩臺機器上這裏是slave1和slave2）
[root@master ~]# hostnamectl status
   Static hostname: master
         Icon name: computer-vm
           Chassis: vm
        Machine ID: eeedf4adb2294e3c9ff14910b85233b7
           Boot ID: 4510949614fe4d8fa164629cacef285a
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-862.el7.x86_64
      Architecture: x86-64

vi /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="no"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="090924a5-2a39-48c7-8948-f4ed4f07e776"
DEVICE="ens33"
ONBOOT="yes"
IPADDR="192.168.137.21"  # slave1和slave2的IP分別修改成 22 ,23
PREFIX="24"
GATEWAY="192.168.137.1"
DNS1="10.0.0.1"

#修改/etc/hosts(root用戶)

vi /etc/hosts

192.168.137.21　　master　　master.will.com

192.168.137.22　　slave1　　slave1.will.com

192.168.137.23　　slave2　　slave2.will.com

 

#最後一列不是必要的

 

#SSH免密碼登陸(hdp用戶)

分別在三臺機器上用hdp用戶登陸，而後執行：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

也能夠執行ssh-keygen，而後按3次回車

這樣會在hdp用戶的家目錄下生成一個.ssh目錄，在.ssh目錄下生成一個id_rsa文件和id_rsa.pub文件

 

其中，id_rsa是私鑰，權限應該是600。不要泄漏這個文件，也不要改動它的權限

id_rsa.pub是公鑰，須要將公鑰發給其餘機器，其餘機器就能夠免密碼登陸這臺機器了

在master上/home/hdp/.ssh目錄中執行

cp id_rsa.pub authorized_keys

在slave1的/home/hdp/.ssh目錄中執行

scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave1

在slave2的/home/hdp/.ssh目錄中執行

scp id_rsa.pub master:/home/hdp/.ssh/id_rsa.pub.slave2

而後在master的/home/hdp/.ssh目錄中執行

cat id_rsa.pub.slave1>> authorized_keys

cat id_rsa.pub.slave2>> authorized_keys

scp authorized_keys slave1:/home/hdp/.ssh/

scp authorized_keys slave2:/home/hdp/.ssh/

而後特別須要注意的就是要修改.ssh目錄和authorized_keys文件的權限，

.ssh目錄的權限必定是700，authorized_keys文件的權限必定是644，不然免密失敗

 

#下載安裝JDK

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

選擇對應的版本和平臺，這裏選jdk-8u181-linux-x64.tar.gz

#下載和安裝hadoop安裝包

 

cd /opt

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz

 

tar zxvf hadoop-2.8.2.tar.gz

# 作一個軟連接，之後就能夠用/opt/hadoop來訪問了：

ln -s hadoop-2.8.2/ hadoop