安裝hadoop和配置hadoop，啓動namenode和設置免密登陸的詳細解析！

首先安裝hadoop要安裝好java的開發環境，配置好jdk

其實建立一個hadoop的用戶

cd到這個用戶的目錄下

建立一個apps的目錄。之後全部的東西都解壓進入apps

解壓後的目錄中的文件以下

這裏lib是本地的庫！

bin是本身的操做命令，

sbin是啓動命令！

etc是配置文件

include是本地庫的頭文件！

咱們的jar包在share文件中！

下圖是share包中的目錄

剩下就在前面的etc/hadoop/目錄下的配置文件進行配置對紅線標註的配置文件進行修改

這裏咱們先配置hadoop-env.sh

咱們將JAVA_HOME的值設置在此處以下圖，由於你要使用ssh遠程鏈接，因此使用原有的${JAVA_HOME}行不通

第二部在core-site.xml文件中進行配置

上圖中的配置第一個指定hadoop的文件系統，第二個指定集羣每一個主機的進程工做在哪一個數據目錄

第三修改hdfs.site.xml

把數據保存兩份，作個備份！

而後修改mapred-site.xml.template

這裏指定mapreduce運行的平臺爲yarn,不然他默認是local.

別忘了執行這個命令

第四接下來配置yarn-site.xml

裝好以後，設置hadoop的環境變量！

主要就是這兩個！

而後使用scp命令將apps目錄整個複製到其餘主機上

也將/etc/profile傳過去

而後使用

這兩個命令，一個是啓動namenode節點，另外一個是查看java的進程，這裏用了看看namenode進行是否啓動！

這裏就表示已經啓動了。

而後咱們能夠在使用ip地址進行可視化查看這個文件系統的各類狀況！

http://192.168.150.129:50070/dfshealth.html#tab-overview

這裏192.168.150.129是我mini1這個臺虛擬機的ip。又來作namenode節點的主機！

而後咱們可能看到使用的空間爲0

這是由於咱們沒有啓動datanode .因此這裏咱們隨便啓動一個主機的datanode

注意必定su hadoop這個用戶下運行

使用命令 hadoop-daemon.sh start datanode

而後使用jps命令查看是否啓動datanode的進程

若是在jps命令中沒有DataNode那麼你就查看，上述的/home/..../hadoop-hadoop-datanode-mini2.log

注意這裏惟一與上圖中的不一樣，在於它是log，而上圖是out

若是想要關閉這個datanode,可使用

這個命令。

講用腳本啓動全部的datanode,和namenode

這裏須要修改slaves的配置文件，

將其修改

能夠將腳本話啓動mini2和mini3做爲datanode,mini1啓動爲namenode,(這裏腳本就在mini1中運行)

但是要不斷的輸入密碼。因此可使用免密登陸！！！！

情形是：我想在mini1中登陸mini2，mini3而後能夠免密碼登陸！

咱們能夠在mini1中使用命令ssh-keygen產生祕鑰

而後依次拷貝到其餘主機上

而後就能夠正常使用了

這裏咱們看出來徹底不用輸入密碼就能夠直接啓動！！！

配置徹底後咱們能夠直接啓動腳本！將slaves裏面配置的所有啓動！！

咱們能夠看出來，並無輸入任何密碼

固然咱們也可使用命令直接將所有的都中止掉stop-dfs.sh