hadoop-1.2.0集羣安裝與配置

http://bbs.itcast.cn/thread-17487-1-1.html

、硬件環境一、windows7旗艦版64位
二、VMwareWorkstationACE版6.0.2
三、RedhatLinux5
四、Hadoop-1.2.0

Windows	VM	[url=]虛擬機器Linux[/url]	IP	做用
Window7 64位	VMwareWorkstation	Redhat1	192.168.24.250	NameNode、master、jobTracker
		Redhat2	192.168.24.249	DataNode、slave、taskTracker
		Redhat3	192.168.24.248	DataNode、slave、taskTracker

3、安裝VMwareWorkstation和RedhatLinux5
一、VMwareWorkstation和RedhatLinux5的安裝，網上處處都是，我也是在網上隨便找的，你能夠找寫得更詳細準確的，這裏再也不贅述，可參考：



注：當你在虛擬機上安裝完一個Linux後，不要重複安裝步驟，使用虛擬機帶的克隆功能，能夠很容易複製出多臺如出一轍的Linux。
可參考：



完成這一步驟後的效果


4、安裝配置Hadoop
一、安裝hadoop前先配置Linux
（1）更改三臺機器的網絡鏈接方式

選中要更改的虛擬機，右擊-設置（Settings）



（2）以root用戶登陸Linux，設置IP地址和默認網關（三臺機器都要設置）


輸入vi/etc/sysconfig/network-scripts/ifcfg-eth0，（vi的使用再也不贅述，不懂本身網上查）修改該文件內容爲：

DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes


IP地址和默認網關根據本身須要進行設置

（3）配置虛擬機的主機名（三臺機器都要設置）

輸入vi/etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1

（4）配置主機名與ip地址的對應關係（三臺機器都要設置）

輸入vi/etc/hosts

127.0.0.1localhost
192.168.24.250redhat1
192.168.24.249redhat2
192.168.24.248redhat3



這是標準內容。去掉多餘的，不然可能出現Hadoop在master查看livenodes爲0


（5）關閉防火牆（三臺機器都要設置）

輸入chkconfigiptablesoff開機不啓動防火牆
輸入serviceiptablesstop關閉當前防火牆服務


固然也能夠設置防火牆對hadoop放行，爲了簡單起見，我這裏就直接關閉防火牆了。

（6）測試網絡是否聯通
設置完成以後，在每臺虛擬機之間執行ping命令，保證虛擬機之間網絡沒有問題
如：ping192.168.24.249

二、創建linux之間ssh無密碼登陸




到此爲止，鋪墊工做算是作完了。

三、安裝和配置JDK（三臺機器都要安裝）




四、安裝hadoop（三臺機器都要安裝）
（1）到hadoop官網下載hadoop1.2.0
（2）使用ftp上傳到linux，若是不懂，能夠參考個人文章：

（3）解壓安裝
進入hadoop-1.2.0.tar.gz所在的目錄
輸入：
tar-zvxfhadoop-1.2.0.tar.gz

即安裝完畢

五、配置Hadoop（三臺機器都要設置）
（1）配置hadoop環境變量
和設置jdk環境變量同樣

命令：vi/etc/profile
在文件最後輸入：
exportHADOOP_HOME=/usr/local/hadoop-1.2.0
exportPATH=$PATHHADOOP_HOME/bin


執行命令source/etc/profile使profile生效



（2）配置hadoop運行參數

更改hadoop安裝路徑下/conf/hadoop-env.sh的文件（三臺機器都要設置）

第9行加入exportJAVA_HOME=/usr/java/jdk1.7.0_21

更改hadoop安裝路徑/conf/masters和slaves兩個文件。（只配置192.168.24.250虛擬機）
masters中輸入：192.168.24.250
slaves中輸入：
192.168.24.249
192.168.24.248

配置hadoop安裝路徑/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三個文件。(三臺機器都要設置)

core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.24.250:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
</configuration>


hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>


mapred-site.xml：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.24.250:9001</value>
</property>
</configuration>


（3）格式化文件系統
命令：Hadoopnamenode–format


至此hadoop已經安裝配置完畢了。

5、測試

一、啓動hadoop
在192.168.24.250機器上執行以下指令，啓動hadoop安裝目錄bin下：
Start-all.sh
對於hadoop來講，啓動全部進程是鼻血的，可是若是有必要，你依然能夠只啓動HDFS（start-dfs）或MapReduce（start-mapred.sh）


Web瀏覽器監視HDFS文件系統狀態和MAPREDUCE執行任務的狀況。
HDFS文件系統









二、運行hadoop自帶的wordcount示例

依次執行命令：
echo「Itisadog」>input1
echo"itisnotadog">input2
hadoopfs-mkdirinput
hadoopfs-copyFromLocal/root/input*input
hadoopjar/usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jarwordcountinputoutput

能夠查看運行狀態



查看運行結果

至此所有成功！6、總結利用多臺虛擬機模擬的hadoop集羣環境基本搞定，剩下的就是根據須要再作詳細的配置了。若是要移植到物理存在的機器上，只需把虛擬機上的安裝方式直接搬過去用就能夠了。接下來，還會繼續出一篇文章介紹eclipse鏈接遠程hadoop集羣進行開發，其中也涉及一些比較麻煩的問題，不過幸虧都解決了，立刻整理出來，期待吧。