Hdoop分佈式安裝要點

1.Ubuntu上的準備

1）合適的用戶

建議添加一個名爲hadoop的用戶方便記憶（其實什麼用戶都無大礙），不建議使用root！！具體方法自行檢索，這裏提供整體的過程梳理，下同。

2）合適的java版本

不建議使用Ubuntu自帶的java版本，請自行下載並讓當前用戶使用。

3）openssh-server

Ubuntu默認只安裝了ssh客戶端，沒有安裝服務器端，安裝ssh服務器端是必須的。

4）關閉防火牆

root權限用戶：

iptables -F

 

2.用戶的設置

1）修改hostname

Ubuntu的主機名（hostname）修改的位置是：/etc/hostname

建議修改成masterX或slaveX

2）修改hosts表

vi /etc/hosts  創建各集羣主機名（hostname）與ip的對應關係

127.0.0.1這個本地迴環地址只能映射爲localhost，有多餘的刪除！（僞分佈式可能使用，集羣模式不能使用）

3）配置PATH、JAVA_HOME變量

配置~/.bashrc文件裏的PATH、JAVA_HOME

 

3.hadoop2.7.3配置

修改幾個配置文件：

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

和DataNode結點的主機名文件：

slaves

 

4.hadoop文件複製

將配置好的整個hadoop文件（第三步）複製到集羣裏全部的機器中（避免重複操做的不二選擇0.o）

建議使用scp命令

 

5.設置ssh免密登陸

master主機能夠ssh免密登陸全部的主機包括本身（localhost）。

master主機的當前用戶產生ssh公私鑰，將公鑰發給全部機器的當前用戶，全部的用戶將該公鑰保存到容許列表（authorized_key）裏，master用本身的私鑰實現身份認證從而免密登陸。

 

6.NameNode結點的格式化

maser主機上執行

hdfs namenode -format

--

以上