hadoop 部署安裝

使用版本爲2.7.2

1 安裝配置

java ssh 必須安裝

2 修改host 均要修改

3 ssh配置各slave節點 與 master節點免密碼登陸

1.配置SSH 免密碼登陸

• master上設置
• cd ~/.ssh # 若是沒有該目錄，先執行一次ssh localhost
• rm ./id_rsa* # 刪除以前生成的公匙（若是有）
• ssh-keygen -t rsa # 一直按回車就能夠

2.讓Master節點需能無密碼SSH本機

• 在 Master 節點上執行：
• cat ./id_rsa.pub >> ./authorized_keys
• 修改authorized_keys權限 chmod 600 ~/.ssh/authorized_keys

3.slave免密碼登陸master

• 複製公鑰 master上操做 scp ~/.ssh/id_rsa.pub app@172.19.2.3:~/.ssh
• cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• chmod 600 ~/.ssh/authorized_keys

參考:http://www.cnblogs.com/ivan0626/p/4144277.html

4 hadoop安裝

1.解壓下載hadoop文件

2.在master本地文件系統建立如下文件夾：

hadoop/dfs/name hadoop/dfs/data hadoop/tmp

3.配置文件

core-site.xml

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/hadoop/tmp</value>
    <description>Abase forother temporary directories.</description>
</property>

這裏是hadoop的臨時文件目錄，file的含義是使用本地目錄。也就是使用的是Linux的目錄，必定確保下面目錄

hdfs-site.xml

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/dfs/data</value>
</property>

這裏要涉及到的配置文件有7個：

/hadoop/etc/hadoop/hadoop-env.sh（添加java路徑）
/hadoop/etc/hadoop/yarn-env.sh（添加java路徑）
/hadoop/etc/hadoop/slaves (添加節點)
/hadoop/etc/hadoop/core-site.xml
/hadoop/etc/hadoop/hdfs-site.xml
/hadoop/etc/hadoop/mapred-site.xml
/hadoop/etc/hadoop/yarn-site.xml

4.複製到其餘node

5.啓動

hadoop/bin 下 hadoop namenode -format 格式化hdfs
hadoop/sbin 下 start-all.sh

參考:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
參考:http://www.linuxidc.com/Linux/2015-11/124800.htm
參考:http://www.aboutyun.com/thread-7684-1-1.html

常用的linux命令

sudo chown -R username:group filename 改變文件所屬 sudo scp -r /usr/hadoop app@slave1:~/ 複製文件到其餘節點