VMware Hadoop2.5.2分佈式環境搭建

1.  Centos安裝

主流虛擬機軟件有VirtualBox和Vmware workstation，後者爲商用軟件，主推後者，對於這兩款軟件的使用，在本文中就不贅述了，不會的同窗能夠參考https://github.com/judasn/Linux-Tutorial/blob/master/CentOS-Install.md（judasn整理了不少學習資料，在這向他學習致敬）

2.  虛擬網絡配置

使用VMware安裝完centos以後咱們須要先配置虛擬網絡。

編輯à虛擬網絡編輯器

打開

打開NAT設置如圖：

把紅框中的幾個ip地址記錄下來，後面會須要用到。須要注意的是數值可能和圖中會不一致。

到這一步還須要確認關鍵步驟，也是最容易忽略的步驟：

第一：網絡鏈接選擇NAT模式

打開虛擬機à設置

第二：啓動Vmware相關服務

到如今爲止，就能夠啓動虛擬機了。

3.  防火牆參數配置

使用root賬號登陸虛擬機

關閉SELINUX：vi /etc/selinux/config 設置SELINUX=disabled，保存退出

修改IP配置：vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改成以下圖：

注意子網IP，子網掩碼，網關IP爲前面記錄的幾個值，HWADDR（本機MAC地址）、UUID值無需修改，

修改主機名稱：vi /etc/sysconfig/network  以下圖：修改HOSTNAME值爲master

修改hosts映射：vi /etc/hosts，加入了slave1和slave2的映射項，將其內容改成以下圖所示。

關閉防火牆：/sbin/service iptables stop;chkconfig --level 35 iptables off

重啓網絡策略：service network restart

到這一步咱們就可使用ssh工具鏈接到咱們的虛擬機了，使用Putty、Xshell、SecureCRT等工具都行，在這我使用Xshell+Winscp

4. JDK安裝

使用SSH工具鏈接上虛擬機以後，經過FTP上傳下載好的jdk安裝文件。下載地址：http://pan.baidu.com/s/1pLEJ9bl

先卸載：

查看系統中是否安裝了jdk：

# rpm -qa | grep jdk

# rpm -qa | grep gcj

可能會出現：

jdk-1.7.0_45-fcs.x86_64

若是存在執行命令進行卸載：

# yum -y remove jdk-1.7.0_45-fcs.x86_64

下載jdk-7u79-linux-x64.rpm

給全部用戶添加可執行的權限

# chmod +x  jdk-7u79--linux-x64-rpm.bin

進入文件存放目錄

# chmod 777 jdk-7u79--linux-x64-rpm給全部用戶添加可執行的權限

安裝程序

#rpm -ivh jdk-7u79--linux-x64-rpm

出現安裝協議等，按接受便可。

2.設置環境變量。

#vi /etc/profile

在最後面加入

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

保存退出。

5.  Hadoop安裝配置

下載hadoop2.5.2版本，下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/

# tar -vxf hadoop-2.5.2/  #將下載的hadoop-2.5.2.tar.gz解壓

hadoop能夠在單節點上以僞分佈式的方式運行，Hadoop進程以獨立的Java進程來運行，節點即NameNode也是DataNode。須要修改2個配置文件etc/hadoop/core-site.xml和etc/hadoop/hdfs-site.xml。

# vim hadoop-2.5.2/etc/hadoop/core-site.xml 添加以下內容：

配置說明：添加hdfs的指定URL路徑，因爲是僞分佈模式，因此配置的是本機IP ，可爲真實Ip、localhost。

# vim hadoop-2.5.2/etc/hadoop/ hdfs-site.xml 添加以下內容：

將mapred-site.xml.template重命名爲mapred-site.xml，並添加以下內容：

爲hadoop指定jdk：

# vim hadoop-2.5.2/etc/hadoop/hadoop-env.sh

將hadoop加入到環境變量中

# vim ~/.bashrc 添加以下內容：

到這爲止，hadoop就已經配置好了。

6.  克隆虛擬機

使用VMware中克隆功能，複製出另外兩臺虛擬機，分別命名爲slave1和slave2。由於克隆出的虛擬機網卡地址已經改變，因此要修改複製出的虛擬機的網卡地址。

網卡地址查看：（注意要啓動虛擬機查詢）

# vim /etc/sysconfig/networking/devices/ifcfg-eth0 將其中HWADDR修改成上面新的網卡地址，一樣將IPADDR改成192.168.224.201(slave1)或192.168.224.202(slave2)。

# vim /etc/sysconfig/network 修改主機名爲slave1和slave2

# rm -f /etc/udev/rules.d/70-persistent-net.rules  #這步很是關鍵

# reboot  #重啓虛擬機

如今就可使用SSH工具鏈接三臺虛擬機了

7. 配置SSH

設置免密登陸，打開三臺虛擬機，登陸到master中，執行以下命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh slave1 "mkdir ~/.ssh"

scp ~/.ssh/id_dsa.pub slave1:~/.ssh/authorized_keys

ssh slave2 "mkdir ~/.ssh"

scp ~/.ssh/id_dsa.pub slave2:~/.ssh/authorized_keys

中間可能須要輸入密碼 ,執行完以後，分別執行以下命令

ssh master

ssh slave1

ssh slave2

不須要再輸入密碼就對了。

8. 啓動Hadoop

首次執行需先執行HDFS格式化命令：bin/hadoop namenode –format（第二次啓動就不須要了）

在master虛擬機執行sbin/start-all.sh  就OK了。

成功啓動後，能夠經過命令jps看到啓動了以下進程，master中存在NameNode、SecondaryNameNode進程，slave1和slave2中存在DataNode、NodeManager進程。

此時能夠訪問Web界面http://192.168.138.100:50070來查看Hadoop的信息。