Hadoop之運行環境搭建

1、虛擬機環境準備

一、克隆虛擬機

二、修改克隆虛擬機靜態IP

三、修改主機名

四、關閉防火牆

五、建立hadoop用戶

六、配置hadoop用戶具備root權限

七、在/opt 目錄下建立文件夾

　　1）在/opt 目錄下建立module、software文件夾

1 [hadoop@hadoop101 opt]$ sudo mkdir module
2 [hadoop@hadoop101 opt]$ sudo mkdir software

　　2）修改module、software文件夾的全部者

[hadoop@hadoop101 opt]$ sudo chown hadoop:hadoop module/ software/
[hadoop@hadoop101 opt]$ ll
總用量 8
drwxr-xr-x. 2 hadoop hadoop 4096 1月  17 14:37 module
drwxr-xr-x. 2 hadoop hadoop 4096 1月  17 14:38 software

 

2、安裝JDK

一、卸載現有JDK

　　1）查詢是否安裝Java軟件

[hadoop@hadoop101 opt]$ rpm -qa | grep java

　　2）若是安裝的版本低於1.7，卸載該JDK：

[hadoop@hadoop101 opt]$ sudo rpm -e 軟件包

　　3）查看JDK安裝路徑：

[hadoop@hadoop101 ~]$ which java

二、將jdk軟件包 上傳至/opt/software/目錄下

三、解壓 JDK 到/opt/module/ 目錄下

[hadoop@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

四、配置JDK 環境變量

　　1）先獲取JDK路徑

[hadoop@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

　　2）打開 /etc/profile 文件　　

[hadoop@hadoop101 software]$ sudo vi /etc/profile

　　在 profile 文件末尾添加JDK路徑

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

　　3）保存後退出

　　 　　:wq

　　4）讓修改後的文件生效　　

[hadoop@hadoop101 jdk1.8.0_144]$ source /etc/profile

五、測試 jdk 是否安裝成功

[hadoop@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

　　注意：重啓（若是java -version 能夠用就不用重啓）

[hadoop@hadoop101 jdk1.8.0_144]$ sync
[hadoop@hadoop101 jdk1.8.0_144]$ sudo reboot

 

3、安裝Hadoop

一、hadoop下載地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

二、將下載好的tar包上傳至/opt/software/ 目錄下

三、解壓安裝文件至/opt/module 下

[hadoop@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

四、將 hadoop 添加到環境變量

　　1）獲取hadoop安裝路徑

[hadoop@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

　　2）編輯/etc/profile文件　　

[hadoop@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

　　在profile 文件末尾添加 hadoop路徑：

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

　　3）保存後退出

　　:wq

　　4）讓修改後的文件生效

[hadoop@ hadoop101 hadoop-2.7.2]$ source /etc/profile

五、測試是否安裝成功

[hadoop@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

六、重啓（若是hadoop命令不能使用）

[hadoop@ hadoop101 hadoop-2.7.2]$ sync
[hadoop@ hadoop101 hadoop-2.7.2]$ sudo reboot

 

4、hadoop目錄結構

一、查看hadoop目錄結構

二、重要目錄

　　1）bin：存放hadoop相關服務（hdfs、yarn）進行操做的腳本

　　2）etc：hadoop的配置文件目錄，存放hadoop的配置文件

　　3）lib：存放hadoop的本地庫（對數據進行壓縮解壓縮功能）

　　4）sbin：存放啓動或中止hadoop相關服務的腳本

　　5）share：存放hadoop的依賴jar包、文檔、和官方案例。