ubuntu 1804 安裝hadoop 2.7.7及配置文件說明

建立hadoop用戶同時指定使用 /bin/bash 做爲 hadoop的shell：

useradd -m hadoop -s /bin/bash

爲hadoop 設置密碼。

sudo passwd hadoop

爲 hadoop 用戶增長管理員權限，方便部署

sudo adduser hadoop sudo

下載文件：

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

解壓到/usr/local/目錄下

sudo tar -zxf hadoop-2.7.7.tar.gz -C /usr/local/

 

 

Hadoop僞分佈式配置

Hadoop 能夠在單節點上以僞分佈式的方式運行，Hadoop 進程以分離的 Java 進程來運行，節點既做爲 NameNode 也做爲 DataNode，同時，讀取的是 HDFS 中的文件。

Hadoop 的配置文件位於 /usr/local/hadoop/etc/hadoop/ 中，僞分佈式須要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每一個配置以聲明 property 的 name 和 value 的方式來實現。

修改配置文件 core-site.xml (經過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml)，將當中的

1. <configuration>
2. </configuration>

XML

修改成下面配置：

1. <configuration>
2. <property>
3. <name>hadoop.tmp.dir</name>
4. <value>file:/usr/local/hadoop/tmp</value>
5. <description>Abase for other temporary directories.</description>
6. </property>
7. <property>
8. <name>fs.defaultFS</name>
9. <value>hdfs://localhost:9000</value>
10. </property>
11. </configuration>

XML

一樣的，修改配置文件 hdfs-site.xml：

1. <configuration>
2. <property>
3. <name>dfs.replication</name>
4. <value>1</value>
5. </property>
6. <property>
7. <name>dfs.namenode.name.dir</name>
8. <value>file:/usr/local/hadoop/tmp/dfs/name</value>
9. </property>
10. <property>
11. <name>dfs.datanode.data.dir</name>
12. <value>file:/usr/local/hadoop/tmp/dfs/data</value>
13. </property>
14. </configuration>

XML

Hadoop配置文件說明

Hadoop 的運行方式是由配置文件決定的（運行 Hadoop 時會讀取配置文件），所以若是須要從僞分佈式模式切換回非分佈式模式，須要刪除 core-site.xml 中的配置項。

此外，僞分佈式雖然只須要配置 fs.defaultFS 和 dfs.replication 就能夠運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數，則默認使用的臨時目錄爲 /tmp/hadoo-hadoop，而這個目錄在重啓時有可能被系統清理掉，致使必須從新執行 format 才行。因此咱們進行了設置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，不然在接下來的步驟中可能會出錯。