Hadoop僞分佈式集羣搭建總結

Hadoop僞分佈式集羣搭建總結

1、所需軟件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
2、安裝
注意：
對文件進行編輯：輸入a，表示對該文件進行編輯，最後保存該文件，操做爲：點擊鍵盤上的Esc按鈕，而後輸入英文的:字符，再輸入wq，點擊回車，完成文件的保存。
一、關閉防火牆和禁用SELINUX
（1）、永久關閉防火牆，重啓Linux系統

（2) 、禁用SELINUX：修改文件參數 重啓Linux使其生效

（3）、檢查防火牆是否運行，顯示下圖即爲關閉

二、配置hostname與IP地址之間的對應關係
（1）、查看本身的IP

（2）、查看本身的hostname

（3）、配置對應關係

注意：IP與hostname之間有空格
三、建立用戶
（1），建立hadoop用戶

（2）、爲hadoop用戶設置密碼

四、配置 SSH免密登陸
（1）、檢查本身系統是否安裝SSH

注意：若沒安裝SSH則在有網的狀況下可輸入：yum install openssh-server 進行安裝。
（2）、爲hadoop用戶配置SSH免密登陸

注意：必定要切換到hadoop用戶下並進入「~」目錄！

注意：輸入ssh-keygen -t rsa後一直回車便可！
而後進入.ssh目錄進行如下操做

注意：「authorized_keys」必定要準確！**``**
進入「~」目錄爲.ssh目錄及其文件賦予相應權限

五、JDK安裝
（1）、建立存放軟件目錄

（2）、上傳解壓jdk

注意：確保紅框內權限爲hadoop的！若是爲root，可進入root用戶修改成hadoop， 命令爲:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,而後從新進入hadoop用戶進行解壓
（3）、爲jdk1.8.0_211建立軟鏈接

（4）、配置bashrc文件

使配置文件生效

（5）、驗證JDK是否安裝成功，顯示下圖即爲成功

六、hadoop安裝及配置
（1）、上傳解壓hadoop

注意：確保紅框內權限爲hadoop的！若是爲root，可進入root用戶修改成hadoop 命令爲：chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,而後從新進入hadoop用戶進行解壓

（2）、進入hadoop配置文件目錄進行相應文件配置

配置core-site.xml vi core-site.xml

注意：箭頭所指應爲本身的hostname
配置hdfs-site.xml vi hdfs-site.xml

配置hadoop-env.sh vi hadoop-env.sh

注意：此路徑爲JDK的安裝目錄
配置mapred-site.xml vi mapred-site.xml

配置yarn-site.xml vi yarn-site.xml

配置slaves vi slaves

注意：此爲本身的hostname
（3）、爲hadoop-2.7.3建立軟鏈接

（4）、配置bashrc文件

使配置文件生效

（5）、建立hadoop相關數據目錄

（6）、格式化Namenode hadoop namenode -format

注意：出現以上2個信息即爲成功！若是出現要輸入密碼等狀況，檢查本身的SSH免密登陸是否配置正確！！！
（7）、啓動hadoop僞分佈式集羣

注意：出現以上信息輸入yes便可！！！
（8）、經過jps命令查看hadoop的啓動進程

注意：出現以上5個進程即爲hadoop僞分佈式集羣啓動成功