hadoop 僞集羣搭建

之前安裝過Hadoop幾個版本的單機版，主要是爲了研究Hadoop源代碼，如今想更加深刻Hadoop整個生態系統，選擇安裝Hadoop徹底分佈式，因爲目前Hadoop最新版本爲2.6，因而選擇這個版本安裝使用

準備工做：

一、筆記本4G內存 ，操做系統WIN7（純屌絲配置）

二、工具：VMware Workstation

三、虛擬機：CentOS6.5（64位）共3臺，一個master，兩個slave，

安裝好一個主機master的CentOS系統， 一、系統環境設置（先配置master節點）

1.1 修改主機名

vim /etc/sysconfig/network

NETWORKING=yes HOSTNAME=master NTPSERVERARGS=iburst

1.2 修改主機名和IP的映射關係（hosts）

vim /etc/hosts

添加：192.168.111.131 master

1.3 關閉防火牆

service iptables status //查看防火牆的狀態

service iptables stop //關閉防火牆

chkconfig iptables --list //查看防火牆開機啓動狀態

chkconfig iptables off //關閉防火牆開機啓動

1.4 重啓系統

#reboot 2.安裝jdk

一、下載jdk，地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

二、上傳到虛擬機

三、解壓jdk

#mkdir opt

#tar -zxvf jdk-7u79-linux-x64.tar.gz

四、將java添加到環境變量中

#vim /etc/profile

//在文件的最後添加

export JAVA_HOME=/home/master/opt/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

java -version

3. 配置ssh免登陸

$ ssh-keygen -t rsa (四個回車)

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ~/.ssh/authorized_keys //查看rsa 4. 安裝hadoop2.6.0

首先將hadoop解壓縮到opt文件夾

4.1 配置hadoop

4.1.1 配置hadoop-env.sh

將 JAVA_HOME 修改成剛纔配置的位置 export JAVA_HOME=/home/master/opt/jdk1.7.0_79

4.1.2 配置core-site.xml

添加下面的內容:

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/master/opt/hadoop-2.6.0/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> </configuration>

4.1.3 配置hdfs-site.xml

添加下面的內容:

<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///home/master/opt/hadoop-2.6.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///home/master/opt/hadoop-2.6.0/dfs/data</value> </property> <property> <name>dfs.nameservices</name> <value>h1</value> </property>

<property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>

</configuration>

4.1.4 配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

添加下面的內容:

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <final>true</final> </property> <property> <name>mapreduce.jobtracker.http.address</name> <value>master:50030</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> <property> <name>mapred.job.tracker</name> <value>http://master:9001</value> </property> </configuration>

4.1.5 配置yarn-site.xml

添加下面的內容:

<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>

4.2 將hadoop添加到環境變量

export HADOOP_HOME=/home/master/opt/hadoop-2.6.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4.3 格式化namenode

hdfs namenode -format

4.4 啓動hadoop

先啓動HDFS：

sbin/start-dfs.sh

再啓動YARN

sbin/start-yarn.sh

4.4 驗證是否啓動成功

jps

2871 ResourceManager 3000 Jps 2554 NameNode 2964 NodeManager 2669 DataNode

至此僞分佈式 hadoop 搭建完成！