Hadoop1.2.1分佈式安裝-2-安裝篇

一、在打算作namenode的機器上，wget或其餘方式下載hadoop的壓縮包，並解壓到本地指定目錄

下載解壓命令參考Linux經常使用命令。

二、配置namenode，修改site文件

• 修改core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://bd01:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/wukong/a_usr/hadoop-tmp</value>
  </property>
</configuration>

      注意：bd01配置的是namenode的主機名。tmp目錄必須配置且不能刪除，若是刪除hadoop的hdfs就沒了，必須從新安裝。

• 修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

     注意： 文件系統中文件複製的份數，默認是3份。份數越多，越耗費磁盤。通常設置成奇數，方便數據不一致時能夠判斷正確性。

• 修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>bd01:9001</value>
  </property>
</configuration>

三、配置hadoop-env.sh

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib64/jdk1.7.0_65/

      配置JAVA_HOME時將路徑指向本身本機上的jdk目錄。

四、配置masters和slaves

     在masters中加入secondarynamenode主機名，slaves中加入slaves的主機名。

五、向各個節點複製hadoop

      使用scp複製。scp使用方法參考Linux經常使用命令

六、格式化namenode

bin/hadoop namenode -format

      當log中出現info是...has been successfully formated...以後，就算格式化成功了。

七、啓動hadoop守護進程

bin/start-all.sh

八、用jps檢驗各後臺進程是否OK

jps

      若是有問題，能夠修改配置文件，殺死已啓動的進程後從新啓動hadoop。殺死進程命令參考Linux經常使用命令。若是沒有問題，應該顯示有以下幾個進程：namenode, secondnamenode, jobtracker。若是在datanode節點上查看進程，則會看到datanode, tasktracker。