安裝hadoop2

準備工做：

1、先關閉防火牆

systemctl stop firewalld

2、安裝jdk

參考：http://www.javashuo.com/article/p-dlflfkrv-co.html

3、配置ssh免密登陸

參考：http://www.javashuo.com/article/p-maplxbux-cu.html

4、配置hosts

vim /etc/hosts

正式開始：

1、下載hadoop

wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz

2、解壓

tar -zxvf hadoop-2.6.5.tar.gz

3、進入hadoop安裝目錄下的配置文件目錄

cd hadoop-2.6.5/etc/hadoop/

4、修改hadoop-env.sh文件，配置jdk路徑

vim hadoop-env.sh

5、修改yarn-env-sh文件，配置jdk路徑

vim yarn-env.sh

6、修改slaves文件，配置從節點

vim slaves

7、修改core-site.xml文件

vim core-site.xml

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://192.168.119.10:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>file:/usr/local/src/hadoop-2.6.5/tmp/</value>
</property>

8、修改hdfs-site.xml文件

vim hdfs-site.xml

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>master:9001</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/src/hadoop-2.6.5/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/usr/local/src/hadoop-2.6.5/dfs/data</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>

9、配置mapred-site.xml文件

複製出一個文件（本來沒有mapred-site.xml）

cp mapred-site.xml.template mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

修改vim mapred-site.xml

10、修改yarn-site.xml文件

vim yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
	<name>yarn.resourcemanager.address</name>
	<value>master:8032</value>
</property>
<property>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>master:8030</value>
</property>
<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>master:8035</value>
</property>
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:8033</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>master:8088</value>
</property>
<!-- 關閉虛擬內存檢查-->
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

11、建立臨時目錄和文件目錄

mkdir /usr/local/src/hadoop-2.6.5/tmp

mkdir -p /usr/local/src/hadoop-2.6.5/dfs/name

mkdir -p /usr/local/src/hadoop-2.6.5/dfs/data

12、配置環境變量

vim ~/.bashrc

HADOOP_HOME=/usr/local/src/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin

刷新環境變量：source ~/.bashrc

十3、拷貝hadoop安裝包到各個子節點

scp -r /usr/local/src/hadoop-2.6.5 root@slave1:/usr/local/src/hadoop-2.6.5

scp -r /usr/local/src/hadoop-2.6.5 root@slave2:/usr/local/src/hadoop-2.6.5

十4、第一次啓動集羣前，要先格式化一下（我的理解是將本地文件系統裝成hdfs文件系統）

hadoop namenode -format

十5、啓動hadoop

進入可執行命令文件夾：cd /usr/local/src/hadoop-2.6.5/sbin/

啓動：./start-all.sh

十6、測試：查看集羣狀態

主節點：

各個子節點：

十7、測試：查看web監控頁面

十8、測試：上傳和查看個文件試試

十9、成功！！！