Hadoop入門第一篇——環境配置

1、準備工做

    1. 所需軟件

            1）    jdk-linux.rpm

            2）    Hadoop2.8.1.tar.gz

            3）    CentOS.iso

            4）    VirtualBox.exe

            5）    XShell（下載地址：http://www.netsarang.com/download/free_license.html）

            6）    Xftp

    2. 配置windows虛擬網卡

            打開網絡鏈接，找到VirtualBox Host-Only Network，右鍵屬性，選擇IPv4雙擊，配置固定Ip地址。

圖 1.2.1

    3. 新建Linux虛擬機

            打開已經安裝好的VirtualBox管理器，新建虛擬機，選擇操做系統爲Linux版本，而後一直選擇「下一步」建立完成名爲」hd_master「的虛擬機。

圖 1.3.1

            在建立好的hd_master機器上右鍵->設置，選擇「網絡」，鏈接方式改成：僅主機（Host-Only）網絡。

圖 1.3.2

            在上一步中的設置頁面中選擇「存儲」，在控制器:IDE光驅中選擇提早下載好的CentOS系統盤，點擊「OK」。

圖 1.3.3

            啓動hd_master虛擬機，等待安裝CentOS操做系統。

圖 1.3.4

            若是對本身的英文功底不太自信，安裝的時候能夠選擇中文，點擊「繼續」。

圖 1.3.5

            在安裝信息摘要頁面選擇」軟件選擇「，在進入頁面中選擇」基礎設置服務器「選項（固然這裏能夠根據本身的須要選擇不一樣環境），點擊」安裝位置(D)「，選擇本地標準磁盤。以上兩點操做完成後，點擊」開始安裝」。

圖 1.3.6

            進入安裝配置頁面，當前頁面ROOT密碼是沒設置的，選擇」ROOT密碼「設置本身的密碼（若是設置密碼過於簡單，須要點擊兩次」完成「按鈕），而後等待系統安裝完成。

圖 1.3.7

2、配置環境

    1. 修改主機名

hostnamectl set-hostname hd_master

    2. 配置網絡

        在命令行輸入：vim /etc/sysconfig/network-scripts/ifcfg-enp0s3，回車，進入配置文件，修改文件內容爲：

#默認內容
TYPE=Ethernet
#IP地址
IPADDR=192.168.56.110
#子網掩碼
NETMASK=255.255.255.0

        在命令行輸入：vim /etc/sysconfig/network，回車，進入配置文件修改網關，修改成windows虛擬網卡IP地址。

NETWORKING=yes
GATEWAY=192.168.56.1

        重啓網卡，並檢查是否配置完成，若是ping 192.168.56.1（windows虛擬網卡IP地址）是通的，說明配置成功，重啓hd_master。

//重啓網卡
systemctl restart network
//檢查當前網卡信息
ifconfig

圖 2.2.1

    3. 經過XShell訪問hd_master

        打開XShell，新建會話，輸入hd_master虛擬機的IP信息，點擊肯定。

圖 2.3.1

        在彈出回話頁面，點擊「鏈接」

        

圖 2.3.2

        在彈出提示頁面，選擇「接受並保持(S)」，輸入用戶名和密碼（爲了方即可以選擇記住密碼）。

圖 2.3.3

圖 2.3.4

        在XShell中登陸成功後，選擇Xftp（文件傳輸）插件。

圖 2.3.5

        在彈出頁面中，把Windows上提早下載好的hadoop和jdk安裝文件傳到hd_master中的/usr/local目錄中（注意：這裏會提示輸入hd_master的登陸密碼），在左側的windows目錄中雙擊須要傳入hd_master中的文件，等待傳輸完畢後，文件便可在右側的hd_master中查看到。

圖 2.3.6

    4. 配置hadoop和jdk環境       

        在XShell中輸入命令查看hd_master中是否已經傳入hadoop和jdk文件。

ls /usr/local

圖 2.4.1

       進入local目錄，執行jdk文件，安裝java環境，安裝完成後，輸入「java -version」命令，顯示jdk版本，說明安裝成功。

rpm -ivh jdk-8u151-linux-x64.rpm

圖 2.4.2

        進入local目錄，解壓hadoop文件到當前目錄。

tar -zxf hadoop-2.8.1.tar.gz

        配置JAVA_HOME環境變量。

            1）修改hadoop-env.sh配置文件

//進入hadoop-env.sh文件所在目錄
cd /usr/local/hadoop-2.8.1/etc/hadoop/

//進入hadoop-env.sh文件
vim hadoop-env.sh

//修改JAVA_HOME值
export JAVA_HOME=/usr/java/default

            2）修改profile配置文件

//進入profile文件
vim /etc/profile

//導入PATH變量
export PATH=$PATH:/usr/local/hadoop-2.8.1/bin:/usr/local/hadoop-2.8.1/sbin

            3）從新加載profile文件

source /etc/profile

            4）輸入"hadoop version"，回車，顯示hadoop版本信息說明配置成功。

圖 2.4.3