vmware方式搭建hadoop-1.2.1 集羣

Linux節點搭建

一、安裝vmware

二、打開虛擬機，選擇本地虛擬機文件（文章最後附件）

三、網絡配置，刪除vmnet8，增長一個vmnet8

四、選擇橋接模式

五、再切換到net模式

六、修改文件：

cd /etc/sysconfig/network-scripts/

vi ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR=192.168.37.10

NETMASK=255.255.255.0

GATEWAY=192.168.37.2

DNS1=202.106.0.20

七、重啓網絡服務

/etc/init.d/network restart

=======================

下一步使用xshell連接虛擬機

問題1：亂碼問題

修改xshell設置，改成linux

hadoop集羣安裝準備：

多臺虛擬機：

一、複製本地虛擬機，複製本地虛擬機文件夾

二、修改本地虛擬機文件夾名稱

三、修改虛擬機vmware上的虛擬機名稱

四、修改slave1和slave2上的ip

五、修改以後發現slave1和slave2不能上網

須要卸載slave1和slave2上的網卡

方法是：虛擬機設置，將網絡適配器進行移除；而後從新添加一個。

2、安裝Java環境

2.1 vmware設置共享文件夾：虛擬機-》設置-》選項-》增長共享文件夾

查看: cd /mnt/hgfs/

2.2 拷貝到/usr/local/src 下

2.3 執行jdk

./jdk-6u45-linux-x64.bin

【注】：這個操做最好不要中斷

2.4 修改環境變量

vi ~/.bashrc

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2.5 複製jdk到另外兩個節點

scp -rp jdk-6u45-linux-x64.bin 192.168.37.11:/usr/local/src/

scp -rp jdk-6u45-linux-x64.bin 192.168.37.12:/usr/local/src/

3、安裝hadoop

一、解壓縮

tar xvfz hadoop-1.2.1-bin.tar.gz

二、在hadoop目錄下增長tmp目錄，用於存放臨時文件

三、配置，進入conf目錄

修改master

修改內容爲master

修改slave文件

修改內容爲slave1,slave2;

三、修改core-size.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/src/hadoop-1.2.1/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.37.10:9000</value>

</property>

</configuration>

四、修改 mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.37.10:9001</value>

</property>

</configuration>

五、修改hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

六、修改hadoop-env.sh

在文件最後添加：

export JAVA_HOME=/usr/local/src/jdk1.6.0_45

七、本地網絡配置：

修改/etc/hosts文件

最後添加：

192.168.37.10 master

192.168.37.11 slave1

192.168.37.12 slave2

使hostname生效

臨時生效命令：hostname master

永久生效：修改/etc/sysconfig/network

修改成：HOSTNAME=master

八、遠程拷貝到slave1和slave2

scp -rp hadoop-1.2.1 192.168.37.11:/usr/local/src/

scp -rp hadoop-1.2.1 192.168.37.12:/usr/local/src/

九、檢驗slave1和slave2上的文件是否正確

十、修改slave1和slave2上的hostname

1. 修改slave1和slave2的/etc/hosts文件

2. 修改slave1和slave2的/etc/sysconfig/network

十一、全部節點關閉防火牆

1.iptables

/etc/init.d/iptables stop

檢查是否關閉：iptables -L

2.selinux

setenforce 0

檢驗：getenforce

免密碼登陸節點

創建節點的互信關係，不用輸入密碼，免密碼登陸

master節點執行：

ssh-keygen

進入目錄：cd ~/.ssh/

執行命令拷貝公鑰內容到文件：cat id_rsa.pub > authorized_keys

在slave1節點上執行

ssh-keygen

進入目錄：cd ~/.ssh/

複製公鑰內容給master上的authorized_keys：cat id_rsa.pub

在slave2節點上執行

ssh-keygen

進入目錄：cd ~/.ssh/

複製公鑰內容給master上的authorized_keys：cat id_rsa.pub

在master上把authorized_keys複製到slave1和slave2

scp authorized_keys slave1:~/.ssh/

scp authorized_keys slave2:~/.ssh/

啓動

一、格式化

cd /usr/local/src/hadoop-1.2.1/bin

./hadoop namenode -format

二、啓動./start-all.sh

附件：centos-6.5虛擬機鏡像

連接：https://pan.baidu.com/s/1hseXY2C 密碼：dm5c