安裝hadoop 2.2.0

安裝環境爲 CentOS 64位系統，

大概分下面幾個步奏，

0. 安裝JDK
1. 配置SSH
2. 配置/etc/hosts
3. 拷貝hadoop包到沒臺機器上
4. 修改hadoop配置文件
5. 關閉每臺機器的防火牆
6. 格式化namenode
7. 運行hadoop

詳細說每一個步奏，

0. 安裝jdk

下載JDK到每臺機器上，解壓後在.bash_profile中設置JAVA_HOME環境變量爲JDK目錄

1. 配置SSH

hadoop是master/slaver 結構，配置SSH使得從master上登錄每臺slave 無需輸入密碼
使用 ssh-keygen -t rsa 產生key
拷貝 pub key 到目標機器 ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@192.168.5.123

2. 配置/etc/hosts

修改每臺機器上的/etc/hosts文件中的（ip，主機名）對，添加全部機器到hosts中，能夠在master上修改完畢後scp到每臺機器

若是是虛擬機主機，運行ifconfig命令會有相似下面這幾行，

br0 Link encap:Ethernet HWaddr C8:1F:66:D0:9C:02
inet addr:192.168.5.149 Bcast:192.168.5.255 Mask:255.255.255.0
inet6 addr: fe80::ca1f:66ff:fed0:9c02/64 Scope:Link

這裏面的地址也要寫到hosts文件中。

3. 拷貝hadoop包到每臺機器上

下載hadoop 2.2.0，拷貝到每臺機器上，解壓到相同的目錄。目前官網上只有32位版本。咱們本身編譯的64位版本。
咱們通常放在 ~/hadoop/ 目錄下 好比： ~/hadoop/hadoop-2.2.0
修改每臺機器的.bashrc_profile文件，加入HADOOP_HOME 環境變量爲hadoop根目錄

4. 修改hadoop配置文件

下面幾個配置文件須要修改（相應的ip須要修改），hadoop2.2.0配置文件在etc/hadoop目錄下，

core-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://192.168.5.121:9000</value>
</property>

hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.5.121:10020</value>
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.5.121:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.5.121:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.5.121:8031</value>
</property>

5. 關閉每臺機器的防火牆

sudo /etc/init.d/iptables stop

6. 格式化namenode

格式化以前添加全部子節點到主節點etc/hadoop/slaves 文件中，一行一個ip地址（這裏不是很準確，並不必定是主節點那臺機器）

cd $HADOOP_HOME
bin/hadoop namenode -format

7. 運行hadoop

啓動hdfs：sbin/start-dfs.sh
啓動yarn：sbin/start-yarn.sh

 

若是機器不少 能夠參考 拷貝ssh公鑰到多臺服務器上 文中提到的 方法 使用 pssh 批量執行相關命令。

最後能夠經過訪問 主機地址:50070 查看 HDFS是否啓動成功，主機地址:8088 查看yarn是否啓動成功。