hadoop3自學入門筆記(2)—— HDFS分佈式搭建

一些介紹

Hadoop 2和Hadoop 3的端口區別

Hadoop 3 HDFS集羣架構

個人集羣規劃

name	ip	role
61	192.168.3.61	namenode, datanode
62	192.168.3.62	datanode
63	192.168.3.63	secondnamenode
64	192.168.3.64	datanode

1.安裝JDK

利用FileZilla sftp功能進行上傳到指定文件夾下/root/software,下圖是配置sftp.

解壓使用命令tar -xvzf jdk-8u241-linux-x64.tar.gz 解壓到當前文件夾下。
配置環境變量，輸入命令vim /etc/profile，添加

JAVA_HOME=/root/software/jdk1.8.0_241
PATH=$JAVA_HOME/bin:$PATH

最後退出vi,輸入source /etc/profile
測試輸入命令java -version,若是展現

root@localhost ~]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
[root@localhost ~]#

安裝成功！
ssh免密配置請查看

2.配置Hadoop

sftp://root@192.168.3.62/root/software/hadoop-3.2.1.tar.gz
解壓。

2.1部署及配置

Hadoop的配置涉及如下幾個文件，分別是：hadoop-env.sh、core-site.xml、hdfs-site.xml和workers。其中，hadoop-env.sh是Hadoop運行環境變量配置；core-site.xml是Hadoop公共屬性的配置；hdfs-site.xml是關於HDFS的屬性配置；workers是DataNode分佈配置。下面咱們分別配置這幾個文件。
以61爲中心配置，最後複製到其餘服務器

1. hadoop-env.sh文件

在/etc/hadoop/hadoop-env.sh中配置運行環境變量，在默認狀況下，這個文件是沒有任何配置的。咱們須要配置JAVA_HOME、HDFS_NAMENODE_USER和HDFS_DATANODE_USER等，HDFS_SECONDARYNAMENODE_USER配置代碼以下：
在尾部加入

export JAVA_HOME=/root/software/jdk1.8.0_241
export  HDFS_NAMENODE_USER=root
export  HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

其中，JAVA_HOME=/root/software/jdk1.8.0_241是指定JDK的位置，HDFS_NAMENODE_USER=root是指定操做NameNode進程的用戶是root。同理，HDFS_DATANODE_USER和HDFS_SECONDARYNAMENODE_USER分別指定了操做DataNode和Secondary NameNode的用戶，在這裏咱們設置爲root用戶，具體應用時，讀者根據狀況進行設置便可。在這裏須要注意的是，HDFS_NAMENODE_USER、HDFS_DATANODE_USER和HDFS_SECONDARYNAMENODE_USER是Hadoop 3.x爲了提高安全性而引入的。

1. core-site.xml文件

core-site.xml中主要配置Hadoop的公共屬性，配置代碼以下：

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.3.61:9820</value>
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoopdata</value>
    </property>
</configuration>

其中，fs.defaultFS是指定NameNode所在的節點，在這裏配置爲node1；9820是默認端口；hdfs：是協議；hadoop.tmp.dir是配置元數據所存放的配置，這裏配置爲/opt/hadoopdata，後續若是須要查看fsiamge和edits文件，能夠到這個目錄下查找。

1. hdfs-site.xml文件

hdfs-site.xml文件中主要是HDFS屬性配置，配置代碼以下：

<configuration>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.3.63:9868</value>
    </property>
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
 <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
 <value>false</value>
</property>

其中，dfs.namenode.secondary.http-address屬性是配置Secondary NameNode的節點，在這裏配置爲node2。端口爲9868。
關於這些配置，讀者能夠從官網上查找，網址爲https://hadoop.apache.org/docs/stable/index.html，其中的左下角有個Configuration項，其中包括core-default.xml等配置文件。

1. workers文件

在workers中配DataNode節點，在其中寫入：

192.168.3.61
192.168.3.62
192.168.3.64

2.2 將配置複製到其餘服務器

進入 /root/software/hadoop-3.2.1/etc 目錄
輸入命令

scp  -r ./hadoop   192.168.3.62:/root/software/hadoop-3.2.1/etc/
 scp  -r ./hadoop   192.168.3.63:/root/software/hadoop-3.2.1/etc/
 scp  -r ./hadoop   192.168.3.64:/root/software/hadoop-3.2.1/etc/

2.3配置下hadoop的環境變量，方便輸入命令

export JAVA_HOME=/root/software/jdk1.8.0_241
export HADOOP_HOME=/root/software/hadoop-3.2.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.4格式化

第一次安裝Hadoop須要進行格式化，之後就不須要了。格式化命令在hadoop/bin下面，執行以下命令：

hdfs namenode -formate

格式化後會建立一個空白的fsimage文件，能夠在opt/hadoopdata/dfs/name/current中找到fsimage文件，注意此時沒有edits文件。

3.啓動

進入hadoop/sbin下面運行start-dfs.sh，啓動HDFS集羣，啓動命令以下：

./start-dfs.sh

這時，能夠在不一樣節點中經過jps命令查看不一樣的進程。
61

62

63

64

表示都已經啓動。

4.打開瀏覽器查看HDFS監聽頁面

在瀏覽器中輸入http://ip:9870，好比這裏輸入http://192.168.30.61:9870/，出現如下界面則表示Hadoop徹底分佈式搭建成功

選擇Datanodes選項，能夠看到DataNode的利用率和DataNode的節點狀態

這裏只顯示了一個比較奇怪，之後再研究。

更多精彩請關注公衆號【lovepythoncn】