安裝ubuntu-server系統

安裝系統

選擇系統語言-Englishjava

鍵盤設置-Chinesenode

選擇操做Install ubuntulinux

設置網絡（這裏選擇默認）算法

選擇Doneshell

文件系統設置-選擇使用整個磁盤ubuntu

選擇磁盤vim

選擇Donebash

選擇繼續Continue網絡

配置文件設置ssh

正在安裝

Reboot Now

安裝ssh環境

配置root用戶密碼

修改root用戶的初始密碼

sudo passwd

退出當前用戶，使用root登錄系統。

關閉防火牆

systemctl stop firewalld.service

開機不啓動防火牆

systemctl disable firewalld.service

查看防火牆狀態

ufw status

inactive狀態是防火牆關閉狀態，active是開啓狀態。

配置root用戶遠程鏈接

（注：裝了ssh-server，若是未安裝，請先安裝）

apt-get install openssh-server

修改sshd_config

vim /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 120
PermitRootLogin without passwd
StrictModes yes

改爲

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

而後重啓SSH服務便可。

重啓事後經過shell鏈接：

設置ssh localhost 免密碼登陸

ssh localhost
exit

輸入密碼登陸本機和退出本機

在進行了初次登錄後，會在當前家目錄用戶下有一個.ssh文件夾，進入該文件夾下：

cd ~/.ssh/

使用rsa算法生成祕鑰和公鑰對：

ssh-keygen -t rsa

運行後一路回車就能夠了，其中第一個是要輸入祕鑰和公鑰對的保存位置，默認是在：

.ssh/id_rsa

而後把公鑰加入到受權中：

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost的時候就能夠無密碼登錄了。

安裝jdk

解壓jdk

建立一個java的文件夾，用戶存放Java文件

mkdir /usr/local/java

經過ftp工具把下載好的jdk安裝包上傳到java文件夾下。

解壓：

cd /usr/local/java
tar -vxzf jdk-8u181-linux-x64.tar.gz

解壓成功後會在當前目錄下看到：

jdk1.8.0_181文件夾

而後刪除安裝包：

rm jdk-8u181-linux-x64.tar.gz

配置jdk

設置環境變量：

vim /etc/profile

在末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

從新加載環境變量的配置文件：

source /etc/profile

檢測：

java -version

安裝Hadoop

解壓hadoop

建立一個hadoop的文件夾，用戶存放hadoop文件

mkdir /usr/local/hadoop

經過ftp工具把下載好的hadoop安裝包上傳到hadoop文件夾下。

解壓：

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解壓完成：

移動hadoop-2.7.7文件下的文件到當前的目錄

mv ./hadoop-2.7.7/* ./

刪除hadoop-2.7.7文件夾

rm -rf ./hadoop-2.7.7

查看文件夾的全部者以及用戶組，最重要的是擁有者是不是當前用戶

若是擁有者不是當前用戶，則修改成當前用戶：

sudo chown -R 當前用戶名 ./hadoop

配置hadoop

設置環境變量：

vim /etc/profile

在末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

從新加載環境變量的配置文件：

source /etc/profile

檢測：

hadoop version

修改配置文件

在core-site.xml 中添加

<!-- 指定HDFS老大（namenode）的通訊地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop運行時產生文件的存儲路徑 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
 </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>

在 hdfs-site.xml 中添加

<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode上數據塊的物理存儲位置</description>
</property>

<!-- 設置hdfs副本數量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

在 hadoop-env.sh 中更改 JAVA_HOME

註釋掉：

export JAVA_HOME=${JAVA_HOME}

添加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

測試，啓動

格式化namenode：

hadoop namenode -format

啓動hdfs

start-all.sh

查看相應的進程：

jps

肯定5個進程所有啓動。

訪問測試：

10.168.1.129:50070

設置開機啓動

進入/etc/init.d/目錄下

cd /etc/init.d/

建立文件hadoop

vim hadoop

寫入開機啓動相關的腳本內容

#!/bin/bash
#
# chkconfig: 2345 88 33
# description: Starts and stops Hadoop server

### BEGIN INIT INFO
# Required-Start:
# Required-Stop:
# Default-Start:        2 3 4 5
# Default-Stop:         0 1 6
# Short-Description:    Starts and stops Hadoop server
# Description:          Starts and stops Hadoop server
### END INIT INFO

start(){
    #
    # Start Hadoop
    #
    /usr/local/hadoop/sbin/start-all.sh
}
stop(){
    #
    # Stop Hadoop
    #
    /usr/local/hadoop/sbin/stop-all.sh
}

case "$1" in
    start)
        start
        exit $?
    ;;

    stop)
        stop
        exit $?
    ;;

    restart)
        #
        # Restart Hadoop
        #
        stop
        sleep 5
        start
        exit $?
    ;;

*)
echo "Usage hadoop start/stop/restart"
exit 1;;
esac

設置文件權限

chmod +x hadoop

添加到服務中

update-rc.d -f hadoop defaults

測試

service hadoop start

查看服務是否啓動成功

jps

Ubuntu 18.04 安裝 Hadoop系統環境